Prototypowanie i wizualizacja autonomicznych obiektów z wykorzystaniem sieciocentrycznego mikrosystemu cyfrowego

Politechnika Śląska Wydział Automatyki, Elektroniki i Informatyki Autoreferat rozprawy doktorskiej Prototypowanie i wizualizacja autonomicznych obiektów z wykorzystaniem sieciocentrycznego mikrosystemu cyfrowego mgr inż. Karol Jędrasiak Zakład Sterowania i Robotyki Instytut Automatyki Wydział Automatyki, Elektroniki i Informatyki Politechnika Śląska Promotor: dr hab. inż. Aleksander Nawrat, prof. nzw. w Pol. Śl. Gliwice, 2015

Rozprawa związana jest z tematyką obiektów bezzałogowych, które są coraz częściej wykorzystywane do przeprowadzania żmudnych lub niebezpiecznych dla człowieka zadań. Obiekty bezzałogowe to pojazdy lub roboty, które nie wymagają załogi, a operator, który nimi steruje znajduje się na zewnątrz obiektu. Zwiększenie zasięgu operacyjnego obiektu bezzałogowego odbywa się przy zastosowaniu komunikacji bezprzewodowej w torze sterowania. Realizacja zadań poza zasięgiem wzroku operatora wymaga zintegrowania z obiektem bezzałogowym rozbudowanego zestawu czujników zależnego od rodzaju wykonywanego zadania, np.: systemów wizyjnych, skanerów otoczenia, czujników ciśnienia, czujników natężenia pola magnetycznego Ziemi, itp. Operator mając na uwadze wykonanie postawionego zadania wykorzystując informacje z czujników umieszczonych na jego pokładzie steruje elementami wykonawczymi obiektu bezzałogowego. Zagadnienie podejmowania decyzji na podstawie interpretacji odczytów z wielu czujników pod presją czasu i celu realizowanego zadania powszechnie uznaje się za trudne. Z tego też względu, by ułatwić wykonywanie zadań operatorom obiektów bezzałogowych, w wielu miejscach na świecie podejmuje się prace badawcze mające na celu zastąpienie pewnych operacji człowieka specjalizowanym układem elektronicznym wyposażonym w oprogramowanie realizujące określony algorytm sterowania. Opracowanie algorytmów sterowania dla obiektów bezzałogowych rozpoczyna się od opracowania modelu teoretycznego konstrukcji uwzględniającej czynniki istotne dla sterowania, jak np. masa, rozmiar, typ napędu, liczba i rodzaj czujników oraz elementów wykonawczych. Układy automatyki można opisywać i modelować na wiele sposobów. Najbardziej popularna metoda polega na wykorzystaniu modeli matematycznych bazujących na przestrzeni stanów, rozumianej jako minimalna liczba niezależnych zmiennych, które w pełni charakteryzują zachowanie układu dynamicznego w danej chwili czasu i pozwalają jednoznacznie przewidzieć zachowanie tego układu w przyszłości. W ramach pracy założyłem, że istniejące układy automatyki są w stanie w sposób wystarczający sprostać zadaniom obarczonym rygorem czasu. Natomiast zauważyłem, że współcześnie istniejące układy automatyki w sposób niewystarczający radzą sobie z rozwiązywaniem zadań, w których występuje konieczność podejmowania decyzji w warunkach niepewności. Tworzenie specjalizowanego układu elektronicznego wyposażonego w oprogramowanie sterujące wymaga dokładnego przeanalizowania wymagań, opracowania odpowiedniej architektury, stworzenia oprogramowania, testowania oprogramowania i całego systemu. Każdy błąd, czy zlekceważenie pewnych wymagań we wstępnych fazach projektu może wydłużyć czas trwania projektu, prowadzić do zwiększenia kosztów realizacji, czy też nawet prowadzić do niepowodzenia całego przedsięwzięcia. Złe decyzje projektowe pociągają za sobą często konieczność modyfikacji nie tylko oprogramowania, ale i sprzętu. Z tego też powodu znaczący procent czasu rozwoju urządzenia przeznacza się na czynności związane z jego testowaniem. Klasycznie, testy przeprowadza się z wykorzystaniem oprogramowania symulacyjnego (SIL), stanowiska sprzętowego (HIL) lub ich kombinacji (MIX). Wymienione metody stanowią sprawdzoną, powszechnie stosowaną metodykę testowania algorytmów sterowania dedykowanych dla danego obiektu bezzałogowego. Okazuje się jednak, że zastąpienie zmysłów operatora wymaga częstokroć wykorzystania kosztownych czujników, których dane pomiarowe wymagają wykorzystania

skomplikowanych i złożonych obliczeniowo algorytmów. Założyłem w ramach pracy, że dobór czujników do realizacji zadania przez człowieka jest często nadmiarowy i generuje niepotrzebne koszty i problemy podczas procesu zastąpienia operatora programem komputerowym z algorytmem sterowania. Wobec czego uzasadnionym jest poszukiwanie metod ograniczenia kosztów obiektów bezzałogowych poprzez modyfikację ich sensorów i elementów wykonawczych oraz powiązanych z nimi algorytmów sterowania. Korzystając ze środowiska symulacyjnego istnieje możliwość zastąpienia modelu elementu obiektu bezzałogowego innym, tzw. wirtualnym czujnikiem lub wirtualnym członem wykonawczym. W ramach pracy zakłada się, że koncepcja zastosowania wirtualnych czujników może stanowić rozwiązanie problemu kosztownej i częstokroć nadmiarowej aparatury sensorycznej integrowanej z obiektami bezzałogowymi. Wirtualne czujniki mogą być wykorzystywane nie tylko w celu eliminacji sensorów nadmiarowych dla algorytmów sterowania. Mogą być również wykorzystane podczas rozszerzania zbioru funkcjonalności obiektu bezzałogowego. Jednymi z powszechnie integrowanych z obiektami bezzałogowymi czujników są kamery działające w spektrum światła widzialnego lub podczerwieni. Strumień obrazów rejestrowanych przez kamery jest przesyłany bezprzewodowo do operatora, a następnie wyświetlany na ekranie mobilnej stacji bazowej służącej do kontroli obiektu bezzałogowego przez operatora. Jednoczesne sterowanie obiektem bezzałogowym oraz śledzenie wzrokiem na ekranie mobilnej stacji bazowej jednego lub więcej obiektów zainteresowania jest powszechnie uznawane za problem trudny dla człowieka, wymagający stałej koncentracji oraz odpowiedniego przeszkolenia. Założyłem w ramach pracy, że operator będzie mógł oznaczyć obiekt zainteresowania na ekranie wyświetlającym strumień obrazów odbierany z kamery zamontowanej na pokładzie obiektu bezzałogowego. Postanowiłem opracować metodę śledzenia, która mogłaby zostać wykorzystana jako wirtualny czujnik w układzie regulacji bezzałogowego obiektu latającego. Dobranie wartości przekazywanych do elementów wykonawczych obiektu bezzałogowego mogłoby być dokonane w sposób umożliwiający obiektowi bezzałogowemu podążanie za wskazanym przez operatora obiektem zainteresowania. Praca doktorska podzieliłem na dwie główne części. Celem pierwszej części rozprawy było opracowanie metodyki prototypowania algorytmów sterowania z wykorzystaniem wirtualnych czujników i członów wykonawczych. Zaproponowana metodyka powstała w wyniku zaobserwowania trudności podczas implementacji związanych z procesem rozszerzenia zbioru funkcjonalności obiektów bezzałogowych. Opracowana w ramach pracy metodyka zakłada przeprowadzenie czynności wstępnych, takich jak opracowanie modelu matematycznego obiektu, sformułowanie celów sterowania. Czynności te uzupełniłem o etapy definicji oraz integracji wirtualnych czujników oraz członów wykonawczych z modelem obiektu bezzałogowego w środowisku symulacyjnym. Zaproponowana koncepcja wspiera prowadzenie badań wstępnych, ustalenie możliwych wariantów rozwiązań i uwzględnienie przyszłych konsekwencji wynikających z wybrania rozwiązania ostatecznego zbioru czujników oraz elementów wykonawczych zamontowanych na pokładzie obiektu bezzałogowego.

Opracowana metodyka została zweryfikowana w celu oceny jej przydatności oraz identyfikacji obszarów, w których może zostać ona udoskonalona w przyszłości. Weryfikacja zaproponowanej metodyki wymagała bym opracował i zaimplementował oprogramowanie umożliwiające prototypowanie algorytmów sterowania z wykorzystaniem wirtualnych czujników oraz członów wykonawczych. Praca opisuje opracowany oraz zaimplementowany w ramach rozprawy system informatyczny umożliwiający wykorzystanie wirtualnych czujników, wirtualnych członów wykonawczych oraz środowiska graficznego umożliwiającego graficzną konstrukcję układów regulacji z wykorzystaniem wirtualnych czujników oraz wirtualnych członów wykonawczych. Ponadto, zaimplementowałem zbiór komponentów programowych oraz moduł umożliwiający integrację z wybranymi środowiskami symulacyjnymi dzięki zastosowaniu standardu ogólnej architektury dla rozproszonych systemów symulacyjnych HLA. Opisałem w ramach pracy proces zintegrowania środowiska symulacyjne Prepar3D firmy Lockheed Martin ze stworzonym oprogramowaniem. Stworzyłem w ten sposób system informatyczny do prototypowania algorytmów sterowania z wykorzystaniem wirtualnych czujników oraz członów wykonawczych. Następnie, przeprowadziłem testy użytkowe stworzonego systemu informatycznego, które pozwoliły potwierdzić spełnienie sformułowanych przeze mnie postulatów aplikacyjnych. Między innymi, system umożliwia prototypowanie algorytmów sterowania z wykorzystaniem wirtualnych czujników oraz członów wykonawczych. Ponadto, możliwe jest graficzne projektowanie algorytmów sterowania dla wybranych typów obiektów bezzałogowych. Podczas weryfikacji możliwości zrealizowanego systemu informatycznego wykorzystałem dostępny miniaturowy bezzałogowy obiekt jeżdżący w postaci czterokołowego pojazdu napędzanego silnikiem elektrycznym. System podejmowania decyzji obiektu bezzałogowego był zdolny do samodzielnej nawigacji pomiędzy zadanymi przez operatora koordynatami GPS. Zaproponowałem modyfikacji aparatury sensorycznej obiektu bezzałogowego w celu umożliwienia rozszerzenia zbioru funkcjonalności obiektu bezzałogowego o autonomiczne omijanie przeszkód występujących na trasie przejazdu. Korzystając ze zrealizowanego systemu informatycznego zamodelowałem wirtualny czujnik w postaci linijkowego skanera laserowego. W celu uzyskania przez obiekt bezzałogowy zdolności autonomicznego omijania przeszkód wykorzystałem hybrydową strukturę systemów planujących i behawioralnych. Pozytywne rezultaty uzyskane w ramach testów w zintegrowanym z zaproponowanym systemem informatycznym środowisku symulacyjnym zostały następnie z powodzeniem powtórzone podczas testów w warunkach rzeczywistych. Drugi z wykorzystanych obiektów bezzałogowych w ramach weryfikacji możliwości systemu informatycznego to obiekt typu latające skrzydło. W rozprawie zaproponowałem rozszerzenie zbioru funkcjonalności obiektu bezzałogowego o umożliwienie lądowania na płaskim terenie mimo różnicy wysokości pomiędzy poziomem startu i lądowania obiektu bezzałogowego. Dotychczas manewr lądowania tego typu był utrudniony ze względu na korzystanie z barometrycznego czujnika wysokości. Rozszerzyłem aparaturę sensoryczną obiektu bezzałogowego o wirtualny czujnik w postaci laserowego dalmierza skierowanego w kierunku podłoża. Korzystając ze zrealizowanego systemu informatycznego wraz ze środowiskiem symulacyjnym Prepar3D opracowałem oraz zweryfikowałem modyfikację algorytmu sterowania obiektu bezzałogowego.

Uzyskane pozytywne rezultaty w przypadku modyfikacji zbioru funkcjonalności obu obiektów bezzałogowych pozwoliły na potwierdzenie tezy pracy: Wykorzystanie wirtualnych czujników oraz wirtualnych członów wykonawczych w prototypowaniu układów sterowania pozwala na przyśpieszenie procesu syntezy układów regulacji dla obiektów bezzałogowych. Drugim z celów pracy było opracowanie oraz analiza jakościowa i ilościowa metody śledzenia wskazanych przez operatora obiektów zainteresowania w strumieniu obrazów pozyskiwanym z kamer zamontowanych na pokładzie obiektu bezzałogowego. Szczególne znaczenie mają w takim przypadku szybkość działania algorytmu, dokładność działania algorytmu oraz jego względnie prosta implementacja i rozsądne zapotrzebowanie na zasoby obliczeniowe. Bazując na przeprowadzonych analizach, znanych z literatury algorytmów śledzenia obiektów zainteresowania uznawanych za zgodne z bieżącym stanem wiedzy, opracowałem nową metodę śledzenia o nazwie SETh. Opracowany algorytm został zaimplementowany w języku c++ w celu weryfikacji poprawności działania. Następnie opracowałem projekt współbieżnej implementacji algorytmu stanowiącego podstawę ostatecznej implementacji. Do tego celu wykorzystałem karty graficzne oraz technologię NVIDIA CUDA. Wykonana implementacja metody została poddana analizie jakościowej, ilościowej oraz wydajnościowej. Przeprowadzenie testów jakościowych poprzedziłem implementacją oprogramowania umożliwiającego realizację scenariuszy testowych, uwzględniających kontrolowaną zmianę rozmiaru oraz orientacji obserwowanego obiektu zainteresowania względem osi układu współrzędnych tego obiektu. Dane referencyjne zostały oznaczone ręcznie przez ochotników. Rezultaty analizy jakościowej przedstawiłem na diagramach. Zgromadzony i przedstawiony materiał faktograficzny upoważnił mnie do sformułowania następującego wniosku: zaproponowana metoda jest odporna na zmianę skali obiektu zainteresowania w zakresie od 0.5 do 2.0 oraz niewrażliwa na obrót wokół osi Z układu wizualizacji. Uzyskane rezultaty porównałem z wynikami metod śledzenia uznawanymi za metody zgodne z bieżącym stanem wiedzy. Zaproponowana metoda uzyskała porównywalne wyniki do metod referencyjnych lub wyniki je przewyższające. Przeprowadzona analiza ilościowa zaproponowanej metody rozpoczęta została od opracowania zbioru scenariuszy testowych. Scenariusze testów ilościowych opracowałem mając na celu umożliwienie weryfikacji poprawności śledzenia wskazanego przez operatora obiektu zainteresowania w sekwencjach zarówno symulacyjnych, jak i rzeczywistych zawierających zjawiska powszechnie uznawane za wyzwania dla algorytmów śledzenia. Takimi wyzwaniami mogą być m.in. okluzja obiektu zainteresowania, rotacja obiektu zainteresowania poza obrazem, deformacja obiektu zainteresowania, ruchome tło, a także dynamiczna zmiana oświetlenia. Wszystkie sekwencje testowe zostały oznaczone przez ochotników w celu określenia wyniku referencyjnego. Proces adnotacji ramek sekwencji testowych został przeprowadzony z wykorzystaniem pomocniczego oprogramowania zaimplementowanego w języku c#. Łącznie oznaczonych ręcznie zostało 25500 ramek filmów. Wyniki badań które uzyskałem potwierdziły skuteczność zaproponowanej metody SETh. Przeanalizowałem metodę SETh pod kątem wydajności obliczeniowej oraz możliwości zastosowania do przetwarzania strumieni wideo na bieżąco. Założyłem, iż liczba ramek

sekwencji wideo wyświetlanych na sekundę powyżej 21 jest wystarczająca by człowiek wizualnie dostrzegł płynny ruch. Przyjąłem w ramach pracy ograniczenie 21 ramek na sekundę, co wymusza maksymalny czas przetwarzania pojedynczej ramki na poziomie 47 ms. Implementacja zaproponowanej metody SETh w języku c++ uzyskała rezultat 173,8 ms, który uznałem za niezadowalający ze względu na prawie czterokrotne przekroczenie zakładanego czasu przetwarzania. Z tego też względu zidentyfikowałem obszary możliwej optymalizacji oraz możliwe do współbieżnej implementacji z wykorzystaniem kart graficznych oraz technologii NVIDIA CUDA. Ostateczna implementacja metody SETh podczas testów wydajnościowych uzyskała rezultat na średnim poziomie 15,87 ms (+/- 1 ms). Zbiorcze zestawienie uzyskanych rezultatów analizy wydajnościowej przedstawiłem na diagramie. Analiza którą przeprowadziłem wykazała, iż metoda SETh umożliwia przetwarzanie w czasie zbliżonym do rzeczywistego. Jednocześnie wskazałem, iż możliwe jest zrównoleglenie obliczeń z wykorzystaniem układów kart graficznych GPU w celu skrócenia czasu obliczeń. W ramach pracy dowiodłem, iż zaproponowana metoda SETh może również zostać zastosowana w przyszłości w systemach podejmowania decyzji bezzałogowych obiektów latających dzięki możliwości zrównoleglenia elementów metody z wykorzystaniem układów przetwarzania współbieżnego. Uzyskane pozytywne rezultaty w testach z wykorzystaniem zarówno testowych sekwencji symulacyjnych, jak i rzeczywistych pozwoliły na potwierdzenie drugiej tezy pracy: Zaproponowany algorytm śledzenia przez wykrycie z aktualizacją wzorca obiektu oraz tła z wykorzystaniem maszyny wektorów podbierających (ang. Support Vector Machine), nazwany SETh, umożliwia śledzenie ruchomych obiektów z poziomu obiektów bezzałogowych klasy mini BSL. Przedstawioną w ramach pracy autorską metodę SETh porównałem z metodami uznawanymi za referencyjne według bieżącego stanu wiedzy. Zaproponowana metoda uzyskała porównywalne wyniki do metod referencyjnych lub wyniki je przewyższające, co sugeruje możliwość jej praktycznego zastosowania. Rezultaty, które przedstawiłem w ramach niniejszej dysertacji mają potencjał aplikacyjny jako elementy m.in. systemów lotniczego mapowania terenu lub systemów rzeczywistości rozszerzonej. Prace nad algorytmami śledzenia obiektów zainteresowania i opartymi na tych algorytmach systemami prowadzone są aktualnie w wielu ośrodkach naukowych, jednakże do tej pory nie osiągnięto w pełni zadowalających wyników w obliczu zjawisk m.in. okluzji, rotacji obiektu zainteresowania poza obrazem, czy dynamicznej zmiany oświetlenia sceny. Zadaniami, które nadal oczekują na rozwiązanie, są między innymi problem szybkiego obrotu lub modyfikacji kształtu obiektu zainteresowania (np. na skutek otwarcia drzwi samochodu), jak również dalszy rozwój i doskonalenie implementacji w celu skrócenia czasu przetwarzania. Ponadto, planuje rozszerzenie funkcjonalności zaproponowanej metody o śledzenie obszarów o niskim kontraście, dla których obecnie niemożliwe jest obliczenie stabilnych obrazowych cech charakterystycznych. Podsumowując, w niniejszej dysertacji w sposób zwięzły przedstawiłem nową metodykę prototypowania algorytmów sterowania, którą następnie z powodzeniem zweryfikowałem z wykorzystaniem różnego typu obiektów bezzałogowych oraz autorskiej metody śledzenia SETh. Przedstawione w rozprawie wyniki mogą stanowić podstawę do prowadzenia dalszych

prac badawczych w tematyce algorytmów śledzenia obiektów zainteresowania w strumieniach obrazów pozyskiwanych z systemów wizyjnych. W pracy doktorskiej postawiłem i udowodniłem następujące tezy: - Wykorzystanie wirtualnych czujników oraz wirtualnych członów wykonawczych w prototypowaniu układów sterowania pozwala na przyspieszenie procesu syntezy układów regulacji dla obiektów bezzałogowych. - Zaproponowany algorytm śledzenia przez wykrycie z aktualizacją wzorca obiektu oraz tła z wykorzystaniem maszyny wektorów podbierających, nazwany SETh, umożliwia śledzenie ruchomych obiektów z poziomu obiektów bezzałogowych klasy mini BSL. Jestem współautorem szeregu publikacji dotyczących przetwarzania obrazów cyfrowych. W pracach tych zostały przedstawione wieloletnie badania dotyczące prac nad różnego typu algorytmami przetwarzania obrazów cyfrowych. Prace te były związane zarówno z systemami bezzałogowymi, jak również z rozbudową funkcjonalności klasycznych systemów monitoringu. W moim obecnym dorobku znajdują się jedna publikacja z listy filadelfijskiej. Jestem współautorem 40 rozdziałów w monografiach naukowych i materiałach konferencyjnych, jednego zgłoszenia patentowego oraz sześciu praw ochrony na wzór przemysłowy. Dodatkowo byłem wykonawcą w dziesięciu projektach badawczo rozwojowych.

Dorobek naukowy Artykuły publikowane w czasopismach z listy filadelfijskiej 1 1. Jędrasiak K., Daniec K., Nawrat A., Koteras R., Wykorzystanie kamer termowizyjnych w systemach dozoru wizyjnego infrastruktury krytycznej sieci dystrybucyjnej gazu (Application of thermovision camera in gas delivery stations), Przegląd Elektrotechniczny (Electrical Review), ISSN 0033-2097, R. 88 NR 10a/2012, pp. 90-97, 2012, cytowano 5. Rozdziały w monografiach 35 1. K. Jędrasiak, A. Nawrat, Fast color recognition algorithm for robotics, Problemy Eksploatacji, Maintenance Problems (Quarterly), 3/2008 (70), ISSN 1232-9312, Instytut Technologii Eksploatacji - PIB, pp.69-76, 2008, 2. Nawrat A., Jędrasiak K., SETh system spatio-temporal object tracking using combined color and motion feature, Advanced robotics, control and advanced manufacturing systems. Proceedings of the 9th WSEAS International Conference on Robotics, Control and Manufacturing Technology (ROCOM'09), Hangzhou, China, May 20-22, 2009. Eds: S. Chen, Q. Li. [B.m.] : WSEAS Press, 2009, (ISSN1790-5117, ISBN 978-960-474-078-9), pp. 67-72, 2009, 3. Nawrat A., Jędrasiak K., Image recognition technique for unmanned aerial vehicles, Computer vision and graphics. ICCVG 2008. International conference, Warsaw, Poland, November 10-12, 2008. Revised papers. Eds: Leonard Bolc, Juliusz L. Kulikowski, Konrad Wojciechowski. Berlin : Springer, s. 391-399, bibliogr. 8 poz. (Lecture Notes in Computer Science ; vol. 5337), 2009, 4. Josinski, H., Switonski, A., Jedrasiak, K., Polanski, A., Wojciechowski, K., Matlab Based Interactive Simulation Program for 2D Multisegment Mechanical Systems, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 6374, pp. 131-138, Springer-Verlag, 2010, ISBN: 978-3-642-15909-1, 5. Polanski, A., Switonski, A., Josinski, H., Jedrasiak, K., Wojciechowski, K., Estimation System for Forces and Torques in a Biped Motion, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 6374, pp. 185-192, Springer- Verlag, ISBN: 978-3-642-15909-1, 2010, 6. Switonski, A., Josinski, H., Jedrasiak, K., Polanski, A., Wojciechowski, K., Classification of Poses and Movement Phases, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 6374, pp. 193-200, Springer-Verlag, 2010, ISBN: 978-3-642-15909-1, 7. A. Świtoński, Ł. Janik, K. Jędrasiak, Individual Features of the Skin Spectra, Lecture Notes in Engineering and Computer Science, Vol. 2193, Issue 1, pp. 147-151, ISSN: 20780958, 2011. 8. K. Jędrasiak, Ł. Janik, A. Polański, K. Wojciechowski, Vicon Motion Capture and HD 1080 Standard Video Data Fusion Based On Minimized Reprojection Error,

Image Processing and Communications Challenges 3, Advances in Intelligent and Soft Computing, Vol. 102, pp. 209-216, ISBN 978-3-642-23153-7, 2011,. 9. Jędrasiak K., Bereska D., Nawrat A., Prototype of Gyro-Stabilized UAV Gimbal for Day-Night Surveillance, Advanced Technologies for Intelligent Systems of National Border Security, Ed. by A. Nawrat, K. Simek, A. Świerniak. Berlin : Springer, Studies in Computational Intelligence ; vol. 440 1860-949X, ISBN 978-364-231-664-7, pp. 107-115, 2012, 10. Jędrasiak K., Nawrat A., Wydmańska K., SETh-Link The Distributed Management System for Unmanned Mobile Vehicles, Advanced Technologies for Intelligent Systems of National Border Security, Ed. by A. Nawrat, K. Simek, A. Świerniak. Berlin : Springer, Studies in Computational Intelligence; vol. 440 1860-949X, ISBN 978-364-231-664-7, pp. 247-256, 2012, 11. Jędrasiak K., Nawrat A., The Comparison of Capabilities of Low Light Camera, Thermal Imaging Camera and Depth Map Camera for Night Time Surveillance Applications, Advanced Technologies for Intelligent Systems of National Border Security, Ed. by A. Nawrat, K. Simek, A. Świerniak. Berlin : Springer, Studies in Computational Intelligence ; vol. 440 1860-949X, ISBN 978-364-231-664-7, pp. 117-128, 2012. 12. Nawrat A., Jędrasiak K., Daniec K., Koteras R., New Approach of Indoor and Outdoor Localization systems Inertial Navigation Systems and its practical applications, InTech., ISBN 978-953-51-0775-0, pp. 213-240, 2012,. 13. Jędrasiak K., Daniec K., Nawrat A., Method for concealed weapon detection using IR and CMOS cameras, Automatyzacja procesów dyskretnych. Teoria i zastosowania. T. 2. Pod red. Andrzeja Świerniaka i Jolanty Krystek. Gliwice : Wydaw. Pracowni Komputerowej Jacka Skalmierskiego, ISBN 978-83-62652-41-9, pp. 93-100, 2012. 14. Jędrasiak K., Nawrat A., Daniec K., Koteras R., Mikulski M., Grzejszczak T., A Prototype Device for Concealed Weapon Detection Using IR and CMOS Cameras Fast Image Fusion, Computer vision and graphics. ICCVG 2012. International conference, Warsaw, Poland, September 24-26, 2012. Proceedings. Eds: Leonard Bolc, Ryszard Tadeusiewicz, Leszek J. Chmielewski, Konrad Wojciechowski. Berlin : Springer, 2012, s. 423-432, (Lecture Notes in Computer Science ; vol. 7594), ISBN 978-3-642-33563-1, 2012,. 15. Iwaneczko P., Jędrasiak K., Daniec K., Nawrat A., A Prototype of Unmanned Aerial Vehicle for Image Acquisition, Computer vision and graphics. ICCVG 2012. International conference, Warsaw, Poland, September 24-26, 2012. Proceedings. Eds: Leonard Bolc, Ryszard Tadeusiewicz, Leszek J. Chmielewski, Konrad Wojciechowski. Berlin : Springer, 2012, s. 87-94, (Lecture Notes in Computer Science ; vol. 7594), ISBN 978-3-642-33563-1, 2012, vol. 7594, ISBN 978-3-642-33563-1, 2012, 16. Josinski, H., Switonski, A., Jedrasiak, K., Kostrzewa, D., Human Identification Based on Gait Motion Capture Data, Lecture Notes in Engineering and Computer Science, vol. 1, pp. 507-510, Springer-Verlag, 2012, 17. Babiarz A., Bieda R., Jędrasiak K, Nawrat A., Machine Vision in Autonomous Systems of Detection and Location of Objects in Digital Images, Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 3-26, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013,

18. Bieda R., Jaskot K., Jędrasiak K., Nawrat A., Recognition and Location of Objects in the Visual Field of a UAV Vision System, Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 27-46, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013,. 19. Bereska D., Jędrasiak K., Nawrat A., Gyro-Stabilized Platform for Multispectral Image Acquisition, Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 115-122, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013, 20. Janik, L., Jedrasiak, K., Wojciechowski K., Polanski, A., Application of a Hybrid Algorithm for Non-humanoid Skeleton Model Estimation from Motion Capture Data, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 7594, pp. 95-104, Springer-Verlag, ISBN: 978-3-642-33563-1, 2013, 21. Grzejszczak, T., Mikulski, M., Szkodny, T., Jedrasiak, K., Gesture Based Robot Control, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 7594, pp. 407-413, ISBN: 978-3-642-33563-1, Springer-Verlag, 2013, 22. Jonak, K., Jedrasiak, K., Polanski, A., Puszynski, K., Application of Image Processing Algorithms in Proteomics: Automatic Analysis of 2-D Gel Electrophoresis Images from Western Blot Assay, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 7594, pp. 433-440, ISBN: 978-3-642-33563-1, Springer-Verlag, 2013, 23. Fraś S., Jędrasiak K., Kwiatkowski J., Nawrat A., Sobel D., Omnidirectional Video Acquisition Device (OVAD), Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 123-138, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013, 24. Demski, P., Grzejszczak, T., Jedrasiak, K., Mikulski, M., Automatic Targeting Sentry Turret for Distributed Systems, Vision Based Systems for UAV Applications, ISBN: 978-3-319-00368-9, pp. 47-55, Springer-Verlag, 2013, 25. Bereska D., Daniec K., Fraś S., Jędrasiak K., Malinowski M., Nawrat A., System for Multi-axial Mechanical Stabilization of Digital Camera, Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 177-190, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013, 26. Daniec K., Iwaneczko P., Jędrasiak K., Nawrat A., Prototyping the Autonomous Flight Algorithms Using the Prepar3D Simulator, Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 219-232, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013, 27. Daniec K., Jędrasiak K., Koteras R., Nawrat A., Topór-Kamiński T., The Dedicated Wireless Communication Device for Group of Unmanned Vehicles, Vision Based Systems for UAV Applications, Studies in Computational Intelligence Volume 481, pp. 247-256, ISBN: 978-3-319-00368-9 (Print) 978-3-319-00369-6 (Online), 2013. 28. Jedrasiak K., Daniec K., Nawrat A., The Low Cost Micro Inertial Measurement Unit, Proceedings of the 2013 IEEE 8 th Conference on Industrial Electronics and Applications, IEEE Conference on Industrial Electronics and Applications, pp. 403-408, 2013,

29. Daniec K., Jedrasiak, K., Koteras, R., Nawrat, A., Embedded Micro Inertial Navigation System, Applied Mechanics and Materials, vol. 249-250, pp. 1234-1246, 2013, 30. Sobel D., Kwiatkowski J., Ryt A., Domzal M., Jedrasiak K., Janik L., Nawrat A., Range of Motion Measurements Using Motion Capture Data and Augmented Reality Visualisation, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 8671, pp. 594-601, ISBN (Print) 978-3-319-11330-2, ISBN (Online) 978-3-319-11331-9, 2014, 31. Ryt A., Sobel D., Kwiatkowski J., Domzal M., Jedrasiak K., Nawrat A., Real-Time Laser Point Tracking, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 8671, pp. 542-551, ISBN (Print) 978-3-319-11330-2, ISBN (Online) 978-3-319-11331-9, 2014, 32. Jedrasiak K., Andrzejczak M., Nawrat A., SETh: The Method for Long-Term Object Tracking, Computer Vision and Graphics, Lecture Notes in Computer Science, vol. 8671, pp. 302-315, ISBN (Print) 978-3-319-11330-2, ISBN (Online) 978-3-319-11331-9, 2014. 33. Iwaneczko P., Jedrasiak K., Daniec K., Nawrat AM., Design and Implementation of Mobile Ground Base Station for UGV, Innovative Control Systems for Tracked Vehicle Platforms, vol. 2, pp. 57-71, ISBN (Print) 978-3-319-04623-5, ISBN (Online) 978-3-319-04624-2, 2014, 34. Sobel D., Jedrasiak K., Daniec K., Wrona J., Jurgaś P, Nawrat AM, Camera Calibration for Tracked Vehicles Augmented Reality Applications, Innovative Control Systems for Tracked Vehicle Platforms, vol. 2, pp. 147-162, ISBN (Print) 978-3-319-04623-5, ISBN (Online) 978-3-319-04624-2, 2014, 35. Wochlik I, Bułka J., Folwarczny Ł., Daniec K., Jedrasiak K., Koteras R, Nawrat AM., Application of Telemedical Technologies in Remote Evaluation of Soldiers Vital Signes during Training in Combat Conditions, pp. 189-202, ISBN (Print) 978-3-319-04623-5, ISBN (Online) 978-3-319-04624-2, 2014. Uwaga: wiele prac wykazanych w dalszej części jako publikowane referaty konferencji międzynarodowych i krajowych wydanych zostało w materiałach z numerem ISBN i w niektórych sprawozdaniach traktowane są jako rozdziały w książkach. Artykuły publikowane w innych czasopismach 1 1. Nawrat A., Koteras R., Daniec K., Jędrasiak K., "Systemy sterowania autonomiczną platformą gąsienicową APG", Nowa Technika Wojskowa,1/2012 (248), pp. 52-54, ISSN 1230-1655, 2012. Referaty publikowane w materiałach konferencji międzynarodowych 4 1. Czornik A., Daniec K., Jarczyk D., Jędrasiak K., Kasprzak D., Kostowski W., Koteras R., Mendecka B., Nawrat A., Skorek J., Application of IR thermography for evaluating the integrity of a natural gas delivery station, Proceedings of the 2012 13th International Carpathian Control Conference, ICCC 2012, 28-31.05.2012, str. 515-520, 2012, 2012.

2. D. Bereska, K. Jędrasiak, A. Nawrat, Stabilizowana żyroskopowa platforma nośna przeznaczona do akwizycji obrazów wielospektralnych, Automatyzacja Procesów Dyskretnych, Teoria i Zastosowania, Tom II, 9-16, ISBN 978-83-62652-41-9, 2012. 3. K. Jędrasiak, K. Daniec, A. Nawrat, Tresspassers detection for the surveillance systems based on thermal imaging cameras, Automatyzacja Procesów Dyskretnych, Teoria i zastosowania, Tom II, 83-92, ISBN 978-83-62652-41-9, 2012. 4. K. Jędrasiak, K. Daniec, A. Nawrat, Method for Concealed weapon detection using IR and CMOS cameras, Automatyzacja Procesów Dyskretnych, Teoria i zastosowania Tom II, 93-100, ISBN 978-83-62652-41-9, 2012. Zgłoszenia patentowe 1 1. Moduł tekstroniczny i wyrób tekstroniczny z takim modułem, Zgłoszenie patentowe nr P.409130 z dnia 07.08.2014 r. Zgłaszający Instytut Włókiennictwa, Łódź oraz Politechnika Śląska, Gliwice. Autorzy: Małgorzata Cieślak, Katarzyna Śledzińska, Marek Lao, Ewa Witczak, Aleksander Nawrat, Damian Bereska, Roman Koteras, Karol Jędrasiak, Krzysztof Daniec Prawo z rejestracji wzoru przemysłowego 6 1. Prawo z rejestracji nr 19139 wzoru przemysłowego pt. Miniaturowy moduł inercyjnej jednostki pomiarowej zgłoszonego dn. 23.07.2012 Twórcy: Aleksander NAWRAT, Damian BERESKA, Krzysztof DANIEC, Sławomir FRAŚ, Witold ILEWICZ, Karol JĘDRASIAK, Roman KOTERAS. 2. Prawo z rejestracji nr 19272 wzoru przemysłowego pt. Obudowa konwertera USB-RS TTL zgłoszonego dn. 23.07.2012 Twórcy: Aleksander NAWRAT, Damian BERESKA. Krzysztof DANIEC, Sławomir FRAŚ, Karol JĘDRASIAK, Roman KOTERAS. 3. Prawo z rejestracji nr 19273 wzoru przemysłowego pt. Enkoder magnetyczny zgłoszonego dn. 23.07.2012 Twórcy: Aleksander NAWRAT, Damian BERESKA, Krzysztof DANIEC, Sławomir FRAŚ, Karol JĘDRASIAK, Roman KOTERAS. 4. Prawo z rejestracji nr 19482 wzoru przemysłowego pt. "Moduł inercyjny jednostki pomiarowej" zgłoszonego dn. 26.11.2012 Twórcy: Aleksander NAWRAT, Damian BERESKA, Krzysztof DANIEC, Sławomir FRAŚ, Witold ILEWICZ, Karol JĘDRASIAK, Roman KOTERAS. 5. Prawo z rejestracji nr 19483 wzoru przemysłowego pt. "Zminiaturyzowane urządzenie typu INS" zgłoszonego dn. 26.11.2012 Twórcy: Aleksander NAWRAT, Damian BERESKA, Krzysztof DANIEC, Sławomir FRAŚ, Witold ILEWICZ, Karol JĘDRASIAK, Roman KOTERAS. 6. Prawo z rejestracji nr 19480 wzoru przemysłowego pt. "Sensor wizyjny z oświetlaczem IR" zgłoszonego dn. 26.11.2012 Twórcy: Aleksander NAWRAT, Damian BERESKA, Krzysztof DANIEC, Sławomir FRAŚ, Karol JĘDRASIAK, Roman KOTERAS.

Publikacje w bazach, cytowania, indeksy Liczba publikacji indeksowanych: Web of Science: 17 Scopus: 17 Google Scholar: 51 Liczba wszystkich cytowań: Web of Science: 26 Scopus: 28 Google Scholar: 304 Indeks H: Web of Science: 4 Scopus: 4 Google Scholar: 12 Udział w warsztatach, konferencjach oraz sympozjach 13 1. ICCVG 2014, Warszawa, Wrzesień 2014. 2. Nawrat Aleksander, Bereska Damian, Jędrasiak Karol, Koteras Roman, Daniec Krzysztof, Iwaneczko Paweł, Fraś, Wojciechowski Konrad, Kostium do akwizycji ruchu człowieka, IX Sympozjum "Analiza ruchu - teoria i praktyka w zastosowaniach klinicznych", Warszawa, referat, 7 marca 2014. 3. The 8 th IEEE Conference on Industrial Electronics and Applications, ICIEA 2013, Melbourne, Czerwiec, 2013. 4. 5th International Conference On Scientific Aspects of Unmanned Mobile Object, Wyższa Szkoła Oficerska Sił Powietrznych, Dęblin, Maj, 2013. 5. ICCVG 2012, Warszawa, Wrzesień 2012. 6. KKAPD 2012, Zakopane, 2012. 7. V Konferencja naukowo-przemysłowa Badania naukowe w obszarze techniki i technologii obronnych, Warszawa, Marzec 2012. 8. Zaawansowane Technologie w Inteligentnych Systemach Zabezpieczenia Granic Państwa, Ustroń, Listopad, 2011. 9. IPC 2011, Bydgoszcz, Wrzesień 2011. 10. Postęp technologiczny a bezpieczeństwo i obronność państwa, Ustroń, Listopad 2010.

11. ICCVG 2010, Warszawa, Wrzesień 2010. 12. ICCVG 2008, Warszawa, Wrzesień 2008. 13. AI-METH 2008 Workshop on Problems of Mobile Robotics, Ustroń, Październik 2008. Udział w projektach badawczych 10 Projekty naukowe finansowane przez instytucje rządowe: 1. numer projektu: DOB-BIO6/11/90/2014 (nr Polsl: PBR/1/RAU1/2015), tytuł: Wirtualny symulator działań ochronnych Biura Ochrony Rządu, miejsce realizacji: Politechnika Śląska, charakter udziału: wykonawca. 2. numer projektu: 178438 (nr umowy: PBS1/A3/10/2012), tytuł: Kostium do akwizycji ruchu człowieka oparty na sensorach IMU z oprogramowaniem gromadzenia, wizualizacji oraz analizy danych, miejsce realizacji : Politechnika Śląska, charakter udziału: wykonawca. 3. O-R00 0151 11, Projekt zaawansowanego demonstratora technologii bezpiecznego systemu dostępu radiowego odpornego na zakłócenia i próby podsłuchu przeznaczonego dla systemów administracji publicznej pracującego w oparciu o standard IEEE 802.16, Politechnika Śląska,08.03.2012, wykonawca. 4. O-R00 0132 12, Projekt i implementacja innowacyjnych bezzałogowych platform mobilnych na potrzebny monitorowania granic Państwa, Politechnika Śląska,08.06.2012, wykonawca. 5. O-R00 0113 12, Projekt i wykonanie demonstratora technologii do bezpiecznej identyfikacji, zapewnienia rozliczalności oraz monitorowania położenia dokumentów papierowych jako elementów infrastruktury krytycznej wykorzystywanych przez służby bezpieczeństwa państwa, Politechnika Śląska,08.06.2012, wykonawca. 6. O-R00 002111, Zastosowanie systemów nadzoru wizyjnego do identyfikacji zachowań i osób oraz detekcji sytuacji niebezpiecznych przy pomocy technik biometrycznych i inferencji postaci w 3D z wideo, Polsko Japońska Wyższa Szkoła Technik Komputerowych, wykonawca. 7. O-R00 0112 12, Projekt i implementacja platformy perymetrycznego monitorowania infrastruktury krytycznej sieci dystrybucyjnej gazu, Politechnika Śląska,06.06.2012, wykonawca.

8. 420/BO/A, Opracowanie technologii oraz uruchomienie produkcji urządzeń do bezpiecznej transmisji danych, Politechnika Śląska,30.04.2012, wykonawca. 9. System wraz z biblioteką modułów dla zaawansowanej analizy z i interaktywnej syntezy ruchu postaci ludzkiej, Projekt współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka 2007-2013, Działanie 1.3, Poddziałanie 1.3.1, wykonawca. 10. System informatyczny dla potrzeb optycznego obrazowania tkanek i wspomagania diagnostyczno-prognostycznego w wybranych chorobach nowotworowych, Polsko Japońska Wyższa Szkoła Technik Komputerowych, 2008, wykonawca. Wewnętrzne projekty badawcze realizowane na Politechnice Śląskiej 2 1. numer projektu: BKM/233/RAU1/2012, zadanie nr 18, tytuł: Opracowanie i implementacja algorytmów przetwarzania strumieni wideo pozyskiwanych z kamer widzialnego oraz kamer termowizyjnych na potrzeby obiektów bezzałogowych, miejsce realizacji: Politechnika Śląska, charakter udziału: wykonawca. 2. numer projektu: BKM/514/RAU1/2013, zadanie nr 4, tytuł: Projekt i implementacja rozproszonego systemu sterowania grupą obiektów bezzałogowych, miejsce realizacji: Politechnika Śląska, charakter udziału: wykonawca. Nagrody i Wyróżnienia 10 1. Dyplom nadany przez Minister Nauki i Szkolnictwa Wyższego za osiągnięcia w roku 2014 na arenie międzynarodowej za Tekstroniczny, modułowy system pomiarowy, XXII Giełda Wynalazków, Małgorzata Cieślak, Katarzyna Śledzińska, Marek Lao, Ewa Witczak, Aleksander Nawrat, Damian Bereska, Roman Koteras, Karol Jędrasiak, Krzysztof Daniec, 17 luty, Warszawa, Polska, 2015, 2. Srebrny Medal za Textronic, modular measurement system, Małgorzata Cieślak, Katarzyna Śledzińska, Marek Lao, Ewa Witczak, Aleksander Nawrat, Damian Bereska, Roman Koteras, Karol Jędrasiak, Krzysztof Daniec, The Belgian and International Trade Fair for Technological Innovation, Brussels Eureka!, 15 listopad, Bruksela, Belgia, 2014, 3. Firi Diploma for the Best Invention, Textronic, modular measurement system, Małgorzata Cieślak, Katarzyna Śledzińska, Marek Lao, Ewa Witczak, Aleksander Nawrat, Damian Bereska, Roman Koteras, Karol Jędrasiak, Krzysztof Daniec,

International Trade Fair Ideas-Inventions-New Products, iena 2014, 30 październik, Nuremberg, Niemcy, 2014, 4. Srebrny Medal za Textronic, modular measurement system, Małgorzata Cieślak, Katarzyna Śledzińska, Marek Lao, Ewa Witczak, Aleksander Nawrat, Damian Bereska, Roman Koteras, Karol Jędrasiak, Krzysztof Daniec, International Warsaw Invention Show, IWIS 2014, 14-16 października, Warszawa, Polska, 2014, 5. Złoty Medal za Textronic, modular measurement system, Małgorzata Cieślak, Katarzyna Śledzińska, Marek Lao, Ewa Witczak, Aleksander Nawrat, Damian Bereska, Roman Koteras, Karol Jędrasiak, Krzysztof Daniec, Seoul International Invention Fair 2014, SIIF 2014, 1 grudnia, Seoul, Korea, 2014. 6. Lider Innowacji 2010 dla Instytut Automatyki, Wydział Automatyki, Elektroniki i Informatyki Politechniki Śląskiej wspólnie z Wasko S.A. w Gliwicach za rozwiązanie.: Projekt i implementacja kompleksowego systemu bezpieczeństwa identyfikacji, autoryzacji oraz ochrony zasobów teleinformatycznych i fizycznych poprzez wykorzystanie zaawansowanych technik biometrycznych, Katowice, 24 kwietnia 2010. 7. Lider Innowacji 2010 dla Instytut Automatyki, Wydział Automatyki, Elektroniki i Informatyki Politechniki Śląskiej wspólnie z Wasko S.A. w Gliwicach za rozwiązanie pt.: Projekt i implementacja innowacyjnego systemu bezpiecznej radiowej komunikacji szerokopasmowej w oparciu o technologię WiMax, Katowice, 24 kwietnia 2010. 8. Lider Innowacji 2011 dla Instytut Automatyki, Wydział Automatyki, Elektroniki i Informatyki Politechniki Śląskiej wspólnie z Wasko S.A. w Gliwicach za Opracowanie systemu umożliwiającego sterowanie i monitorowanie bezzałogowych obiektów latających, jeżdżących lub pływających, Katowice, 15-17 kwietnia 2011. 9. Lider Innowacji 2011 dla Instytut Automatyki, Wydział Automatyki, Elektroniki i Informatyki Politechniki Śląskiej wspólnie z Wasko S.A. w Gliwicach za WAmax- pierwszą polską platformę w technologii WiMAX, Katowice, 15-17 kwietnia 2011. 10. Lider Innowacji 2011 dla Instytut Automatyki, Wydział Automatyki, Elektroniki i Informatyki Politechniki Śląskiej wspólnie z Wasko S.A. w Gliwicach za: Wasko Finger Vein authenatication platform, Katowice, 15-17 kwietnia 2011.