Wybrane problemy nawigacji autonomicznej

Podobne dokumenty
Roboty Manipulacyjne i Mobilne Budowanie mapy, lokalizacja, SLAM

Sztuczna inteligencja i uczenie maszynowe w robotyce i systemach autonomicznych: AI/ML w robotyce, robotyka w AI/ML

Katedra Systemów Decyzyjnych. Kierownik: prof. dr hab. inż. Zdzisław Kowalczuk

Rozszerzony konspekt przedmiotu Inteligentne maszyny i systemy

Wizja maszynowa w robotyce i automatyzacji Kod przedmiotu

Automatyka i Robotyka studia stacjonarne drugiego stopnia

II-go stopnia. Stacjonarne. Zagadnienia egzaminacyjne AUTOMATYKA I ROBOTYKA TYP STUDIÓW STOPIEŃ STUDIÓW SPECJALNOŚĆ

ROBOT Z LASEROWYM CZUJNIKIEM ODLEGŁOŚCI DO BUDOWY MAP 2D

Temat 1. Wprowadzenie do nawigacji robotów mobilnych. Dariusz Pazderski Opracowanie w ramach programu ERA Inżyniera

Fuzja sygnałów i filtry bayesowskie

1. Wprowadzenie. Tomasz Kornuta

PRACA DYPLOMOWA MAGISTERSKA

Zastosowanie transformacji Hougha do tworzenia mapy i lokalizacji robota mobilnego

SZTUCZNA INTELIGENCJA

Rozszerzony konspekt wykładu do przedmiotu Systemy wizyjne w robotyce

Nowy algorytm 6DSLAM wykorzystujący semantyczne rozpoznanie otoczenia

Kinematyka robotów mobilnych

Automatyka i Robotyka II stopień ogólno akademicki

Widzenie komputerowe (computer vision)

ROBOT Z LASEROWYM CZUJNIKIEM ODLEGŁOŚCI DO BUDOWY MAP 2D

Systemy Robotów Autonomicznych

Hybrydowa analiza transformat w rozpoznawaniu wysokości dźwięków w polifonicznych nagraniach instrumentów muzycznych

Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner

Robot Kurier prototyp inteligentnego wózka transportowego

Problem testowania/wzorcowania instrumentów geodezyjnych

Michał Kozielski Łukasz Warchał. Instytut Informatyki, Politechnika Śląska

ZAGADNIENIA SPECJALNOŚCIOWE

Maszyny wektorów podpierajacych w regresji rangowej

Dwuwymiarowy skaner laserowy w nawigacji autonomicznych jednostek mobilnych

KATEDRA SYSTEMÓW GEOINFORMATYCZNYCH Propozycje tematów prac dyplomowych magisterskich Kierunek studiów: Informatyka Edycja: 2017/2018

Rozpoznawanie obiektów z użyciem znaczników

Zagadnienia egzaminacyjne AUTOMATYKA I ROBOTYKA. Stacjonarne I-go stopnia TYP STUDIÓW STOPIEŃ STUDIÓW SPECJALNOŚĆ

Komunikacja Człowiek-Komputer

Zastosowanie sztucznej inteligencji w testowaniu oprogramowania

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym

Podstawy robotyki - opis przedmiotu

Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej. Adam Żychowski

Dobór systemu rozpoznania otoczenia dla bezzałogowej platformy lądowej

2. Zarys metody SIFT (Scale Invariant Feature Transform)

Zagadnienia egzaminacyjne TELEKOMUNIKACJA. Stacjonarne. II-go stopnia. (TIM) Teleinformatyka i multimedia STOPIEŃ STUDIÓW TYP STUDIÓW SPECJALNOŚĆ

Algorytmy estymacji stanu (filtry)

METODA WEKTORYZACJI OBRAZU SCENY DLA AUTONOMICZNEGO ROBOTA SCENE VECTORIZATION METHOD FOR AN AUTONOMOUS ROBOT

Pattern Classification

ROBOT MOBILNY ZBIERAJĄCY INFORMACJE O POMIESZCZENIU

Zastosowanie laserów w nawigacji automatycznie kierowanych pojazdów transportowych

Zagadnienie odwrotne w pracach zespołu AGH. Prof. Tadeusz Uhl Katedra Robotyki i Mechatroniki Wydział InŜynierii Mechanicznej i Robotyki

METODY NAWIGACJI LASEROWEJ W AUTOMATYCZNIE KIEROWANYCH POJAZDACH TRANSPORTOWYCH

Przetwarzanie obrazu

SYMULACJA I WERYFIKACJA SYSTEMU NAWIGACJI SLAM DLA

WYDZIAŁ INFORMATYKI POLITECHNIKI POZNAŃSKIEJ

KOMPONENTY INERCJALNE

Harmonogramowanie przedsięwzięć

Modelowanie interakcji helis transmembranowych

Ocena nawierzchni drogowych z wykorzystaniem platformy S-mileSys w obszarze inteligentnego miasta

W Polsce żyje ok. 5,5 miliona osób niepełnosprawnych wzrost o 50% w ostatnich 20 latach

Laboratorium demonstrator bazowych technologii Przemysłu 4.0 przykład projektu utworzenia laboratorium przez KSSE i Politechnikę Śląską

Rzeczywistość rozszerzona: czujniki do akwizycji obrazów RGB-D. Autor: Olga Głogowska AiR II

TRANSCOMP XIV INTERNATIONAL CONFERENCE COMPUTER SYSTEMS AIDED SCIENCE, INDUSTRY AND TRANSPORT

2. Empiryczna wersja klasyfikatora bayesowskiego

WYDZIAŁ ELEKTROTECHNIKI I AUTOMATYKI KATEDRA AUTOMATYKI. Robot do pokrycia powierzchni terenu

Rozpoznawanie obrazów

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań

Streszczenie 6. Rozdział 1. Wstęp Obszar problemowy Cel i zakres pracy... 9

Wykaz tematów prac magisterskich w roku akademickim 2018/2019 kierunek: informatyka

PRZETWARZANIE GRAFICZNYCH DANYCH EMPIRYCZNYCH DLA POTRZEB EDUKACJI SZTUCZNYCH SIECI NEURONOWYCH, MODELUJĄCYCH WYBRANE ZAGADNIENIA INŻYNIERII ROLNICZEJ

SYSTEM BIOMETRYCZNY IDENTYFIKUJĄCY OSOBY NA PODSTAWIE CECH OSOBNICZYCH TWARZY. Autorzy: M. Lewicka, K. Stańczyk

Opisy efektów kształcenia dla modułu

(c) KSIS Politechnika Poznanska

Oferta przedmiotów wybieralnych 2017/2018. Studia I stopnia Elektronika i telekomunikacja

PRZEDMIOTY STUDIÓW STACJONARNYCH II STOPNIA

Anna Fabijańska. Algorytmy segmentacji w systemach analizy ilościowej obrazów

Zastosowania Robotów Mobilnych

Przetwarzanie obrazu

KONCEPCJA PLATFORMY MOBILNEJ DO WSPARCIA BADAŃ KRYMINALISTYCZNYCH

Porównanie modeli regresji. klasycznymi modelami regresji liniowej i logistycznej

Rozszerzony konspekt preskryptu do przedmiotu Autonomiczne Roboty Mobilne

System sterowania robota mobilnego z modułem rozpoznawania mowy

AUTONOMICZNY ROBOT DO MAPOWANIA KSZTAŁTÓW AUTONOMOUS ROBOT FOR MAPPING FLOOR PLANE SHAPE. Bartosz MARTYNIUK 1. Opiekun naukowy: Grzegorz BUDZYŃ 2

Tendencje rozwoju mobilnych robotów lądowych (3) Autonomia robotów mobilnych stan obecny i perspektywy rozwoju

Systemy Robotów Autonomicznych

Rozpoznawanie obrazów

Automatyzacja procesu kontroli danych z lotniczego skanowania laserowego

WIZYJNE STEROWANIE ROBOTAMI MOBILNYMI PODĄśAJĄCYMI ZA LIDEREM

Filtr Kalmana. Zaawansowane Techniki Sterowania. Wydział Mechatroniki Politechniki Warszawskiej. Anna Sztyber

Zagadnienia egzaminacyjne TELEKOMUNIKACJA studia rozpoczynające się po r.

Koncepcja algorytmów generowania trajektorii ruchu robota typu Hexapod w oparciu o system wizyjny

Mechanika Robotów. Wojciech Lisowski. 5 Planowanie trajektorii ruchu efektora w przestrzeni roboczej

Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak

Efekty kształcenia na kierunku AiR drugiego stopnia - Wiedza Wydziału Elektrotechniki, Automatyki i Informatyki Politechniki Opolskiej

Autonomia robotów. Cezary Zieliński Instytut Automatyki i Informatyki Stosowanej Wydział Elektroniki i Technik Informacyjnych Politechnika Warszawska

Analiza metod wykrywania przekazów steganograficznych. Magdalena Pejas Wydział EiTI PW

Własności estymatorów regresji porządkowej z karą LASSO

WIZYJNY SYSTEM BEZPIECZEŃSTWA OBSZARU ROBOCZEGO MANIPULATORA ELEKTROHYDRAULICZNEGO

ZASTOSOWANIE ALGORYTMÓW ICP I SIFT W LOKALIZACJI ROBOTÓW MOBILNYCH

Testowanie hipotez statystycznych.

Praca dyplomowa magisterska

Rok akademicki: 2017/2018 Kod: RIA s Punkty ECTS: 2. Poziom studiów: Studia I stopnia Forma i tryb studiów: Stacjonarne

Projekt rejestratora obiektów trójwymiarowych na bazie frezarki CNC. The project of the scanner for three-dimensional objects based on the CNC

Lista przedmiotów prowadzonych przez pracowników Zakładu Sieci i Systemów Elektroenergetycznych

Recenzja rozprawy doktorskiej mgr Mirona Bartosza Kursy p/t. Robust and Efficient Approach to Feature Selection and Machine Learning

Transkrypt:

Wybrane problemy nawigacji autonomicznej Piotr Skrzypczyński Instytut Automatyki i Inżynierii Informatycznej Politechnika Poznańska Wybrane problemynawigacji autonomicznej p.1/28

Wstęp Robot mobilny podstawową funkcją jest przemieszczanie się względem otoczenia (lokomocja). Nawigacja (łac. navigatio żegluga) jest umiejętnością określenia własnej pozycji i kursu (drogi) do celu na podstawie mapy. budowa modelu otoczenia, określanie swojej pozycji względem otoczenia, planowanie i monitorowanie wykonania sekwencji ruchów prowadzących do osiągnięcia celu. Wybrane problemynawigacji autonomicznej p.2/28

Budowa mapy Ilustracja zadania budowy mapy (złożonej z cech) przy znanej pozycji robota. Wybrane problemynawigacji autonomicznej p.3/28

Samolokalizacja Ilustracja zadania samolokalizacji (śledzenia pozycji) przy znanej mapie. Wybrane problemynawigacji autonomicznej p.4/28

Samolokalizacja i budowa mapy Ilustracja zadania jednoczesnej samolokalizacji i budowy mapy. Wybrane problemynawigacji autonomicznej p.5/28

Nawigacja Zadanie nawigacji robota: określenie własnej pozycji i drogi do celu na podstawie mapy. Nawigacja ze znaną mapą jest zadaniem względnie łatwym (algorytmicznie). Włączenie tworzenia mapy do zadania nawigacji: Simultaneous Localization and Mapping. SLAM jest zadaniem trudnym algorytmicznie i praktycznie. Wybrane problemynawigacji autonomicznej p.6/28

Nawigacja Zadanie nawigacji robota: określenie własnej pozycji i drogi do celu na podstawie mapy. Nawigacja ze znaną mapą jest zadaniem względnie łatwym (algorytmicznie). Włączenie tworzenia mapy do zadania nawigacji: Simultaneous Localization and Mapping. SLAM jest zadaniem trudnym algorytmicznie i praktycznie. Wybrane problemynawigacji autonomicznej p.6/28

SLAM: koncepcja Jaka pozycja robotax R(k) i mapa otoczeniam (k) są najbardziej prawdopodobne w świetle zgromadzonych pomiarów i sterowań zrealizowanych do chwilik? Funkcja gęstości prawdopodobieństwa a posteriori w chwilik: p(x R(k),m (k) z k,u k ). Ogólne rozwiązanie problemu SLAM rekursywny filtr Bayesa: p(x R(k),m z k,u k ) = η model obserwacji {}}{ p(z (k) x R(k),m) model systemu {}}{ p(x R(k) x R(k 1),u (k) ) poprzedni stan {}}{ p(x R(k 1),m z k 1,u k 1 )dx R(k 1). Wybrane problemynawigacji autonomicznej p.7/28

SLAM: koncepcja Jaka pozycja robotax R(k) i mapa otoczeniam (k) są najbardziej prawdopodobne w świetle zgromadzonych pomiarów i sterowań zrealizowanych do chwilik? Rozkład normalny: p(x R(k),m z k,u k ) N(ˆx (k),c x ). Struktura rozwiązania z użyciem EKF: p(x R(k),m z k,u k ) = η etap predykcji {( }} ){ p(x R(k) x R(k 1),u k )p(x R(k 1),m z (k 1),u (k 1) )dx R(k 1) etap korekcji {}}{ p(z k x R(k),m) Wybrane problemynawigacji autonomicznej p.7/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy Stan robota Mapa stan systemu Etap predykcji EKF określenie pozycji robota na podstawie odometrii. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy Stan robota Mapa stan systemu Etap predykcji EKF dopasowanie spodziewanych cech do cech wyodrębnionych z pomiarów. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy Stan robota Mapa stan systemu Etap korekcji EKF uaktualnienie pozycji robota i parametrów cech. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy Stan robota Mapa stan systemu Dodawanie nowych cech do mapy rozbudowa wektora stanu. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy k k-1 k k-1 Stan robota Mapa stan systemu Stan systemu w chwili obecnej staje się stanem w chwili poprzedniej. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy k k-1 k k-1 Stan robota Mapa stan systemu Budowa mapy przy znanej pozycji robota. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech. Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy k k-1 k k-1 Stan robota Mapa stan systemu Samolokalizacja (pose tracking) ze znaną mapą. Wybrane problemynawigacji autonomicznej p.8/28

EKF-SLAM: koncepcja Schemat blokowy systemu SLAM opartego na EKF Stan robota -1 Predykcja stanu robota Predykcja obserwacji Mapa -1 Odometria Dopasowanie cech Obserwacje TAK Estymacja stanu cech i robota NIE Nowe cechy k k-1 k k-1 Stan robota Mapa stan systemu W zagadnieniu SLAM stan robota i mapa otoczenia musza być estymowane jednocześnie. Wybrane problemynawigacji autonomicznej p.8/28

RGB-D SLAM (3D) Pewne klasy robotów wymagają samolokalizacji w 3D, względem sześciu stopni swobody: x R = [x r y r z r θ r φ r ψ r ] T Pojawienie się sensorów RGB-D spowodowało szybki rozwój nowych metod SLAM i VO. Algorytm VO określa przemieszczenie robota na podstawie informacji wizyjnej bez tworzenia mapy otoczenia. RGB-D SLAM jako problem optymalizacji grafu pozycji sensora. RGB-D SLAM jako problem optymalizacji grafu pozycji sensora oraz cech (bundle adjustment). Wybrane problemynawigacji autonomicznej p.9/28

Odometria wizyjna RGB-D Schemat blokowy algorytmu odometrii wizyjnej RGB-D k:=k+n x(k+n) k-ty obraz RGB k-ty obraz D FAST detekcja punktu FAST-D test g³êbi adaptacja: paski, DBScan przypisanie danych g³êbi KLT œledzenie cech RGB koniec œledzenia TAK NIE k+n-ty obraz RGB k+n-ty obraz D n:=n+1 ³¹czenie estymat (odometria) estymacja transformacji R,t TAK koniec RANSAC RANSAC test modelu przypisanie danych g³êbi x(k) NIE Wybrane problemynawigacji autonomicznej p.10/28

Odometria wizyjna RGB-D Schemat blokowy algorytmu odometrii wizyjnej RGB-D k:=k+n x(k+n) k-ty obraz RGB k-ty obraz D FAST detekcja punktu FAST-D test g³êbi adaptacja: paski, DBScan przypisanie danych g³êbi KLT œledzenie cech RGB koniec œledzenia TAK NIE k+n-ty obraz RGB k+n-ty obraz D n:=n+1 ³¹czenie estymat (odometria) estymacja transformacji R,t TAK koniec RANSAC RANSAC test modelu przypisanie danych g³êbi x(k) NIE Wybrane problemynawigacji autonomicznej p.10/28

Odometria wizyjna RGB-D Schemat blokowy algorytmu odometrii wizyjnej RGB-D k:=k+n x(k+n) k-ty obraz RGB k-ty obraz D FAST detekcja punktu FAST-D test g³êbi adaptacja: paski, DBScan przypisanie danych g³êbi KLT œledzenie cech RGB koniec œledzenia TAK NIE k+n-ty obraz RGB k+n-ty obraz D n:=n+1 ³¹czenie estymat (odometria) estymacja transformacji R,t TAK koniec RANSAC RANSAC test modelu przypisanie danych g³êbi x(k) NIE Wybrane problemynawigacji autonomicznej p.10/28

Odometria wizyjna RGB-D Schemat blokowy algorytmu odometrii wizyjnej RGB-D k:=k+n x(k+n) k-ty obraz RGB k-ty obraz D FAST detekcja punktu FAST-D test g³êbi adaptacja: paski, DBScan przypisanie danych g³êbi KLT œledzenie cech RGB koniec œledzenia TAK NIE k+n-ty obraz RGB k+n-ty obraz D n:=n+1 ³¹czenie estymat (odometria) estymacja transformacji R,t TAK koniec RANSAC RANSAC test modelu przypisanie danych g³êbi x(k) NIE Wybrane problemynawigacji autonomicznej p.10/28

Odometria wizyjna RGB-D Schemat blokowy algorytmu odometrii wizyjnej RGB-D k:=k+n x(k+n) k-ty obraz RGB k-ty obraz D FAST detekcja punktu FAST-D test g³êbi adaptacja: paski, DBScan przypisanie danych g³êbi KLT œledzenie cech RGB koniec œledzenia TAK NIE k+n-ty obraz RGB k+n-ty obraz D n:=n+1 ³¹czenie estymat (odometria) estymacja transformacji R,t TAK koniec RANSAC RANSAC test modelu przypisanie danych g³êbi x(k) NIE Wybrane problemynawigacji autonomicznej p.10/28

Ekstrakcja cech Wyniki działania detektora FAST-D. Wybrane problemynawigacji autonomicznej p.11/28

Ekstrakcja cech Wyniki działania detektora FAST-D. Wybrane problemynawigacji autonomicznej p.11/28

Zarzadzanie cechami Cechy wykryte za pomocą detektora FAST-D Wybrane problemynawigacji autonomicznej p.12/28

Zarzadzanie cechami Cechy wykryte po podziale obrazu Wybrane problemynawigacji autonomicznej p.12/28

Zarzadzanie cechami Cechy po grupowaniu algorytmem DBscan Wybrane problemynawigacji autonomicznej p.12/28

SLAM i optymalizacja Różne podejścia do rozwiązania problemu SLAM Sformułowanie bayesowskie (Strasdat et al., 2012) Wybrane problemynawigacji autonomicznej p.13/28

SLAM i optymalizacja Różne podejścia do rozwiązania problemu SLAM Filtracja (EKF, Particle Filter) Wybrane problemynawigacji autonomicznej p.13/28

SLAM i optymalizacja Różne podejścia do rozwiązania problemu SLAM Pose-based SLAM (optymalizacja) Wybrane problemynawigacji autonomicznej p.13/28

SLAM i optymalizacja Różne podejścia do rozwiązania problemu SLAM Sparse Bundle Adjustment (optymalizacja) Wybrane problemynawigacji autonomicznej p.13/28

PUT SLAM: koncepcja Typowy pose-based SLAM z optymalizacją: argmin p E = ijẽt ijω ij ẽ ij p c 2 p f 1 p f 12,22 3 p f p c n p f p f 4 6 p f p f 13,23 5 m p c t, 11 11 t, [R,t], 12 12 12 12 p c 1 p c 2 p c 2 p f 2p f 11,21 p c 3 p c n t, nm nm Wybrane problemynawigacji autonomicznej p.14/28

PUT SLAM: koncepcja PUT SLAM: podejście bundle adjustment: argmin p E = n i=1 m j=1 e(pc i,p f j,m ij) T Ω ij e(p c i,p f j,m ij) p c 2 p f 1 p f 3 p f p c n p f p f 4 6 p f 5 m p c 1 t, 11 11 t, 12 12 p c 2 p f 2 p c 3 p c n t, nm nm Wybrane problemynawigacji autonomicznej p.14/28

Architektura PUT SLAM Schemat blokowy systemu PUT SLAM wykrywanie cech punktowych œledzenie cech koniec œledzenia? TAK SLAM FRONT-END NIE projekcja cech z mapy estymacja pozycji sensora przypisanie danych g³êbi dopasowanie deskryptorów RANSAC testowanie modelu niedopasowane wyzaczanie ograniczeñ dodawanie nowych cech graf cechy, deskryptory, ograniczeñ pozycje sensora g 2 o SLAM BACK-END optymalizacja grafu i synchronizacja z map¹ Wybrane problemynawigacji autonomicznej p.15/28

Architektura PUT SLAM Schemat blokowy systemu PUT SLAM wykrywanie cech punktowych œledzenie cech koniec œledzenia? TAK SLAM FRONT-END NIE projekcja cech z mapy estymacja pozycji sensora przypisanie danych g³êbi dopasowanie deskryptorów RANSAC testowanie modelu niedopasowane wyzaczanie ograniczeñ dodawanie nowych cech graf cechy, deskryptory, ograniczeñ pozycje sensora g 2 o SLAM BACK-END optymalizacja grafu i synchronizacja z map¹ Wybrane problemynawigacji autonomicznej p.15/28

Architektura PUT SLAM Schemat blokowy systemu PUT SLAM wykrywanie cech punktowych œledzenie cech koniec œledzenia? TAK SLAM FRONT-END NIE projekcja cech z mapy estymacja pozycji sensora przypisanie danych g³êbi dopasowanie deskryptorów RANSAC testowanie modelu niedopasowane wyzaczanie ograniczeñ dodawanie nowych cech graf cechy, deskryptory, ograniczeñ pozycje sensora g 2 o SLAM BACK-END optymalizacja grafu i synchronizacja z map¹ Wybrane problemynawigacji autonomicznej p.15/28

Optymalizacja: g 2 o Struktura biblioteki g 2 o (Kümmerle et al., 2011) Wybrane problemynawigacji autonomicznej p.16/28

Metodyka badań (1) TUM RGB-D Benchmark przemieszczany ręcznie Kinect (Sturm et al., 2012). Wybrane problemynawigacji autonomicznej p.17/28

Metodyka badań (2) Trajektorie odniesienia uzyskane za pomocą systemu kamer (Kraft et al., 2016). Akwizycja danych RGB-D zsynchronizowana z pracą kamer (15Hz). start 1 z [m] 0.01 stop -1 0 y [m] 1 0.5 0 a [m] -0.5-1 -3-2 Wybrane problemynawigacji autonomicznej p.18/28

Metodyka badań (3) Eksperymenty z robotem Messor II wykonane na makiecie terenu 2 2m(Belter et al., 2016). Trajektorie testowe zbliżone kształtem do kwadratu. z [m] 0.2-1.0 start/stop -0.8-0.6-0.4-0.2 a [m] 0 0.2 0.4-1.4-1.2-1 0.6-1.6-0.8-0.6-0.4 y [m] -0.2 0 Wybrane problemynawigacji autonomicznej p.19/28

Wyniki badań (1) TUM RGB-D Benchmark fr3_long_office_household ATE: PUT SLAM 0.02m, ORB-SLAM2 0.009m ATE: RGB-D SLAM v2 0.095m, CCNY 0.106m VO RGB-D PUT SLAM ORB SLAM2 Wybrane problemynawigacji autonomicznej p.20/28

Wyniki badań (1) TUM RGB-D Benchmark fr3_long_office_household ATE: PUT SLAM 0.02m, ORB-SLAM2 0.009m ATE: RGB-D SLAM v2 0.095m, CCNY 0.106m CCNY_RGBD RGB-D SLAM v2 KinFu LS Wybrane problemynawigacji autonomicznej p.20/28

Wyniki badań (1) TUM RGB-D Benchmark fr3_long_office_household ATE: PUT SLAM 0.02m, ORB-SLAM2 0.009m ATE: RGB-D SLAM v2 0.095m, CCNY 0.106m CCNY_RGBD RGB-D SLAM v2 KinFu LS Wybrane problemynawigacji autonomicznej p.20/28

Wyniki badań (2) Robot kołowy, sekwencja putkk_1 ATE: PUT SLAM 0.104m, ORB-SLAM2 0.018m ATE: RGB-D SLAM v2 FAIL, CCNY 0.529m VO RGB-D PUT SLAM ORB SLAM2 Wybrane problemynawigacji autonomicznej p.21/28

Wyniki badań (2) Robot kołowy, sekwencja putkk_1 ATE: PUT SLAM 0.104m, ORB-SLAM2 0.018m ATE: RGB-D SLAM v2 FAIL, CCNY 0.529m CCNY_RGBD RGB-D SLAM v2 KinFu LS Wybrane problemynawigacji autonomicznej p.21/28

Wyniki badań (2) Robot kołowy, sekwencja putkk_1 ATE: PUT SLAM 0.104m, ORB-SLAM2 0.018m ATE: RGB-D SLAM v2 FAIL, CCNY 0.529m CCNY_RGBD RGB-D SLAM v2 KinFu LS Wybrane problemynawigacji autonomicznej p.21/28

Wyniki badań (3) Robot Messor II, sekwencja messor2_2 ATE: PUT SLAM 0.069m, ORB-SLAM2 FAIL ATE: RGB-D SLAM v2 0.158m, CCNY 0.307m VO RGB-D PUT SLAM ORB SLAM2 Wybrane problemynawigacji autonomicznej p.22/28

Wyniki badań (3) Robot Messor II, sekwencja messor2_2 ATE: PUT SLAM 0.069m, ORB-SLAM2 FAIL ATE: RGB-D SLAM v2 0.158m, CCNY 0.307m CCNY_RGBD RGB-D SLAM v2 KinFu LS Wybrane problemynawigacji autonomicznej p.22/28

Lokalizacja WiFi (pose-based) Wykorzystanie sygnatur WiFi (fingerprints) Wystarczy znać pozycje wybranych AP WiFi Wybrane problemynawigacji autonomicznej p.23/28

Lokalizacja WiFi wyniki Wykorzystanie tylko krokomierza oraz IMU A centrum wykładowe PP, B centrum mechatroniki PP Wybrane problemynawigacji autonomicznej p.24/28

Lokalizacja WiFi wyniki Wprowadzenie informacji o wybranych AP A centrum wykładowe PP, B centrum mechatroniki PP B Wybrane problemynawigacji autonomicznej p.24/28

Lokalizacja WiFi wyniki Wyniki po optymalizacji grafu: krokomierz + IMU + WiFi A centrum wykładowe PP, B centrum mechatroniki PP A B Wybrane problemynawigacji autonomicznej p.24/28

Aplikacja: Android Działanie aplikacji lokalizacyjnej Samsung Galaxy Note S3 Wybrane problemynawigacji autonomicznej p.25/28

Aplikacja: Android Działanie aplikacji lokalizacyjnej Samsung Galaxy Note S3 Wybrane problemynawigacji autonomicznej p.25/28

Podsumowanie Architektury systemów SLAM uważane za reprezentatywne nie zawsze radzą sobie dobrze z danymi uzyskanymi przez roboty. PUT SLAM wykazał się skutecznością działania we wszystkich eksperymentach. Koncepcja SLAM opartego na optymalizacji jest bardzo uniwersalna. Współczesne metody optymalizacji umożliwiają działanie w czasie rzeczywistym. Wybrane problemynawigacji autonomicznej p.26/28

What next? Wybrane problemynawigacji autonomicznej p.27/28

Zasoby Kod open-source PUT SLAM dostępny na GitHub: https://github.com/lrmput/putslam/tree/release Strona WWW PUT SLAM: http://lrm.put.poznan.pl/putslam/ Wybrane problemynawigacji autonomicznej p.28/28

Laboratorium Robotów Mobilnych Zakład Automatyki i Robotyki Instytut Automatyki i Inżynierii Informatycznej Politechnika Poznańska http://lrm.put.poznan.pl 16.11.2016 p.1/13

Zespół Pracownicy naukowi: dr hab. inż. Piotr Skrzypczyński, prof. nadzw. dr inż. Dominik Belter, adiunkt dr inż. Krzysztof Walas, adiunkt mgr inż. Michał Nowicki, asystent mgr inż. Jan Wietrzykowski, asystent Doktoranci: pięć osób Współpraca z innymi grupami badawczymi w ramach Zakładu 16.11.2016 p.2/13

Tematyka badań (1) Autonomiczne roboty mobilne autonomiczna nawigacja w pomieszczeniach autonomiczna nawigacja outdoor współpraca robotów i koordynacja działań Jednoczesna samolokalizacja i budowa mapy (SLAM) 2D SLAM 3D RGB-D SLAM 3D visual odometry & visual SLAM 16.11.2016 p.3/13

Tematyka badań (2) Roboty kroczące sterowanie chodem i planowanie ruchu percepcja i samolokalizacja Roboty antropomorficzne planowanie ruchu wykorzystanie wzorców ruchu człowieka Nawigacja indoor dla urządzeń mobilnych (smartfony itp.) nawigacja na dużych obszarach (cały budynek) GPS-denied environments wykorzystanie danych z wielu sensorów 16.11.2016 p.4/13

Projekty badawcze Narodowe Centrum Nauki 1. OPUS 2. ETIUDA 3. 3 PRELUDIUM Ministerstwo Nauki i Szkolnictwa Wyższego 1. Projekty badawcze własne (przed rokiem 2011) 2. Diamentowy Grant 3. Generacja Przyszłości Narodowe Centrum Badań i Rozwoju 1. LIDER 16.11.2016 p.5/13

Współpraca międzynarodowa University of Birmingham (UK) ETH Zürich (CH) FZI Karlsruhe (DE) University of Antwerp (BE) Czech Technical University in Prague (CZ) RMIT, Melbourne (AU) 16.11.2016 p.6/13

Roboty (1) Z C dalmierze ultradÿwiekowe Y C WV-CP230 kamera CCD X C Y L LMS 200 skaner laserowy X L Kinect 2 Xtion 16.11.2016 p.7/13

Roboty (2) CCD camera URG-04LX laser scanner + pollution sensor robot controller + IMU 16.11.2016 p.8/13

Roboty (3) Xtion 16.11.2016 p.9/13

Sensory (1) 16.11.2016 p.10/13

Sensory (2) 16.11.2016 p.11/13

Wybrane publikacje 2012 2016 1. P. Skrzypczyński, Laser Scan Matching for Self-Localization of a Walking Robot in Man-Made Environments, Industrial Robot: An International Journal, 39(3), 2012, 242 250. 2. D. Belter, P. Skrzypczyński, Precise Self-Localization of a Walking Robot on Rough Terrain Using Parallel Tracking and Mapping, Industrial Robot: An International Journal, 40(3), 2013, 229 237. 3. K. Walas, Terrain Classification and Negotiation with a Walking Robot, Journal of Intelligent & Robotic Systems 78(3), 2014, 401 423. 4. J. Gośliński, M. Nowicki, P. Skrzypczyński, Performance Comparison of EKF-Based Algorithms for Orientation Estimation on Android Platform, IEEE Sensors Journal, 15(7), 2015, 3781 3792. 5. M. Kraft, M. Nowicki, R. Penne, A. Schmidt, P. Skrzypczy/nski, Efficient RGB-D Data Processing for Feature-based Self-localization of Mobile Robots, Int. Journal of Applied Mathematics and Computer Science, 26(1), 2016, 63 79. 6. D. Belter, P. Labęcki, P. Skrzypczyński, Adaptive Motion Planning for Autonomous Rough Terrain Traversal with a Walking Robot, Journal of Field Robotics, 33(3), 2016, 337 370. 16.11.2016 p.12/13

Wybrane publikacje 2012 2016 7. D. Belter, P. Labęcki, P. Fankhauser, R. Siegwart, RGB-D Terrain Perception and Dense Mapping for Legged Robots, Int. Journal of Applied Mathematics and Computer Science, 26(1), 2016, 81 97. 8. M. Kraft, M. Nowicki, A. Schmidt, M. Fularz, P. Skrzypczyński, Toward Evaluation of Visual Navigation Algorithms on RGB-D Data from the First- and Second-Generation Kinect, Machine Vision and Applications, 2016. 9. J. Wietrzykowski, D. Belter, Boosting Suport Vector Machines for RGB-D Based Terrain Classification, Journal of Automation, Mobile Robotics and Intelligent Systems, 8(3), 2014, 28 34. 10. J. Wietrzykowski, On the Representation of Planes for Efficient Graph-Based SLAM with High-Level Features, Journal of Automation, Mobile Robotics and Intelligent Systems, 10(3), 2016, 3 11. 11. D. Belter, M. Nowicki, P. Skrzypczyński, On the Performance of Pose-Based RGB-D Visual Navigation Systems, in: Computer Vision ACCV 2014, LNCS 9004, Springer 2015, 407 423. 12. D. Belter, M. Nowicki, P. Skrzypczyński, Improving Accuracy of Feature-Based RGB-D SLAM by Modeling Spatial Uncertainty of Point Features, Proc. IEEE Int. Conf. on Robotics & Automation, Stockholm, 2016, 1279 1284. 16.11.2016 p.13/13