Mobilne Aplikacje Multimedialne

Transkrypt

1 Mobilne Aplikacje Multimedialne Technologie rozszerzonej rzeczywistości Krzysztof Bruniecki

2 Rozszerzona rzeczywistość W odróżnieniu od rzeczywistości wirtualnej użytkownik NIE jest całkowicie zanurzony w pełne wirtualne środowisko Podstawowe cechy: połączenie wirtualnego i realnego interakcja w czasie rzeczywistym (w odróżnieniu od efektów specjalnych w filmach) możliwość uwzględnienia trójwymiarowości autor: Krzysztof Bruniecki 2

3 Rozszerzona rzeczywistość w technologii 3D stół uzupełniony o obiekty wirtualne gra z wirtualnymi obiektami autor: Krzysztof Bruniecki 3

4 Przykłady zastosowania rozszerzonej Mapa nieba rzeczywistości Zaznaczanie obiektów w terenie Ustawianie mebli (zastosowanie markerów) Tłumaczenie obrazu (Trans Lens) Wzbogacenie dźwięku autor: Krzysztof Bruniecki 4

5 Technologie wyświetlania Można wyróżnić następujące technologie wyświetlania w AR użycie monitora użycie tzw. optical see-through użycie tzw. video see-through autor: Krzysztof Bruniecki 5

6 Monitor (1) Koncepcja rozszerzonej rzeczywistości z użyciem monitora (również wyświetlacza urządzenia mobilnego) autor: Krzysztof Bruniecki 6

7 Monitor (2) Koncepcja użycia monitora z opcjonalnymi okularami stereoskopowymi autor: Krzysztof Bruniecki 7

8 Head Mounted Display (1) koncepcja systemu HMD typu optical see-through autor: Krzysztof Bruniecki 8

9 Head Mounted Display (2) koncepcja systemu HMD typu video see-through autor: Krzysztof Bruniecki 9

10 Head Mounted Display (3) Realizacje systemów HMD autor: Krzysztof Bruniecki 10

11 Zalety i wady koncepcji optical i video Zalety optical nad video prostota (przetwarzanie tylko jednego strumienia) rozdzielczość strumienia ze świata rzeczywistego bezpieczeństwo (w przypadku zaniku zasilania nadal widzimy) brak przesunięcia pomiędzy okiem a kamerą Zalety video nad optical większe możliwości sterowania kompozycją (możliwość całkowitego zasłonięcia obiektów rzeczywistych) szerokie pole widzenia (możliwość usunięcia dystorsji, która zwiększa się wraz z odległością od osi optycznej) opóźnienia strumieni mogą być dostosowane dodatkowe możliwości analiz obrazu w celu określania orientacji i tym samym przestrzennego dopasowania strumieni autor: Krzysztof Bruniecki 11

12 Ostrość (ang. focus) Video wyświetlenie obrazu następuje w pewnej określonej odległości wszystkie renderowane obiekty mogą być ostre kamera rejestrująca obraz rzeczywisty może zmieniać ostrość Optical użytkownik decyduje o ostrości w obszarze świata rzeczywistego (akomodacja oka) wyświetlenie (projekcja) obiektów wirtualnych powinna być zgodna ze strumieniem rzeczywistym (jest to trudne) jak stwierdzić gdzie (jak daleko) użytkownik patrzy projektory mają najczęściej na sztywno ustawioną odległość projekcji autor: Krzysztof Bruniecki 12

13 Problem rejestracji obrazu ang. Image registration przenoszenie różnych obrazów do jednego układu współrzędnych Zastosowania widzenie komputerowe (ang. computer vision, np. AR), obrazowanie medyczne, automatyczne wykrywanie celu, przetwarzanie i analiza zobrazowań lotniczych i satelitarnych autor: Krzysztof Bruniecki 13

14 Błędy rejestracji obrazów w AR statyczne (bez ruchu) dystorsja optyczna błędy określania lokalizacji rozbieżności mechaniczne błędy wyświetlania związane z perspektywą (translacja, rotacja, kalibracja) dynamiczne (obiekty lub obserwator w ruchu) autor: Krzysztof Bruniecki 14

15 Zadania laboratoryjne Zadanie 1 Utworzyć projekt umożliwiający rysowanie na podglądzie z kamery (należy skorzystać ze źródeł w projekcie KameraAugmented). Zadanie 2 Na podglądzie z zadania 2 rysować prostokąt dynamicznie wskazujący Warszawę z tolerancją +-10 stopni. Założyć że w Samsungu Galaxy S (dostępnym na zajęciach laboratoryjnych): Obszar widoczności kamery szerokość/wysokość [stopnie] 51,2x39,4 Zadanie 3 Na podglądzie z zadania 2 rysować prostokąty dynamicznie wskazujące obiekty dodane do bazy (skorzystać z interfejsu użytkownika z poprzednich laboratoriów, w razie braku bazę można zahardkodować na 0,5 pkt). autor: Krzysztof Bruniecki 15

16 body frame -> ekran Skrajne punkty ekranu odpowiadają następującym wektorom w układzie body frame czerwony romb niebieski trójkąt B B 51,2 0 tg( ) 2 39,4 tg( ) X B Y B autor: Krzysztof Bruniecki 16

17 Kolokwium Pytania testowe Pytania opisowe Pytania obliczeniowe autor: Krzysztof Bruniecki 17

18 Literatura [1] Azuma, R.T.; A Survey of Augmented Reality autor: Krzysztof Bruniecki 18