Zastosowanie AR i nowych form interakcji w środowisku Adobe Flex Air 2

Podobne dokumenty
Nowe metody interakcji w Adobe Flash

Dodatkowo planowane jest przeprowadzenie oceny algorytmów w praktycznym wykorzystaniu przez kilku niezależnych użytkowników ukończonej aplikacji.

JavaFX. Technologie Biznesu Elektronicznego. Wydział Informatyki i Zarządzania Politechnika Wrocławska

Referat Pracy Dyplomowej

Mobilne Aplikacje Multimedialne

Unity 3D - pierwsze skrypty

INTERAKTYWNA KOMUNIKACJA WIZUALNA. Flash - podstawy

Podręcznik użytkownika programu. Ceremonia 3.1

Dokumentacja projektu QUAIKE Architektura oprogramowania

opracował Adam Nowiński

Wideokonferencja w ramach pracy sieci współpracy i samokształcenia

Misja #1 Poznajemy Prophio.

Zacznijmy więc pracę z repozytorium. Pierwsza konieczna rzecz do rozpoczęcia pracy z repozytorium, to zalogowanie się w serwisie:

4 Experience Studio wirtualnych doświadczeń

INSTRUKCJA INSTALACJI I URUCHOMIENIA PROGRAMÓW FINKA DOS W SYSTEMACH 64 bit

Platforma e-learningowa

Dokumentacja Administratora portalu. aplikacji. Wirtualna szkoła

INSTRUKCJA OBSŁUGI wersja 1.0.2

Platforma szkoleniowa krok po kroku

Unreal Engine w 24 godziny : nauka tworzenia gier / Aram Cookson, Ryan DowlingSoka, Clinton Crumpler. Gliwice, cop Spis treści.

Podstawy technologii cyfrowej i komputerów

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania KOMPUTEROWE SYSTEMY STEROWANIA (KSS)

Projekt Zaprogramować działanie robota w narzędziu USARSim

MATERIAŁY DYDAKTYCZNE. Streszczenie: Z G Łukasz Próchnicki NIP w ramach projektu nr RPMA /15

SMART Notebook rodzina produktów

Tak przygotowane pliki należy umieścić w głównym folderze naszego programu. Klub IKS

Sieciowe Technologie Mobilne. Laboratorium 2

Ćwiczenie 6. Wiadomości ogólne.

Cechy systemu X Window: otwartość niezależność od producentów i od sprzętu, dostępny kod źródłowy; architektura klient-serwer;

Voicer. SPIKON Aplikacja Voicer V100

Dotykowa tablica interaktywna Język gestów Zasilanie przez USB

Laboratorium Technologii Informacyjnych. Projektowanie Baz Danych

Dokument Detaliczny Projektu Temat: Księgarnia On-line Bukstor

Konferencja regionalna projektu Wdrożenie podstawy programowej kształcenia ogólnego w przedszkolach i szkołach

Koło zainteresowań Teleinformatyk XXI wieku

REFERAT PRACY DYPLOMOWEJ

Outdoor Media Integrator - Prezentacja oferty

Utworzenie aplikacji mobilnej Po uruchomieniu Visual Studio pokazuje się ekran powitalny. Po lewej stronie odnośniki do otworzenia lub stworzenia

Informatyka I stopień (I stopień / II stopień) Ogólnoakademicki (ogólno akademicki / praktyczny)

Przekształcenie danych przestrzennych w interaktywne mapy dostępne na stronach www (WARSZTATY, poziom zaawansowany)

Rys. 1. Główne okno programu QT Creator. Na rysunku 2 oznaczone zostały cztery przyciski, odpowiadają kolejno następującym funkcjom:


Pytanie: Odpowiedź: Pytanie: Odpowiedź: . Pytanie: Odpowiedź: Pytanie: element multimedialny lub interaktywny Odpowiedź: Pytanie:

OPIS PRZEDMIOTU ZAMÓWIENIA

Dokumentacja aplikacji Szachy online

RAPORT. Gryfów Śląski

Tablet bezprzewodowy QIT30. Oprogramowanie Macro Key Manager

Dokument Detaliczny Projektu

Backend Administratora

Badanie ruchu złożenia

Mamy najlepsze ceny na rynku!

Nowe notowania epromak Professional

Kurs obsługi CMS. 1. Dodawanie kolejnych podstron 2. Obsługa wielojęzycznej witryny

System zarządzający grami programistycznymi Meridius

Unity 3D - podpowiedzi w grze. System cząstek

Referat pracy dyplomowej

Gry Komputerowe Laboratorium 1. Zajęcia organizacyjne Animacja z uwzględnieniem czasu. mgr inż. Michał Chwesiuk 1/22. Szczecin,

Expo Composer Garncarska Szczecin tel.: info@doittechnology.pl. Dokumentacja użytkownika

Moduł raportowy systemu MGśP. Dokumentacja użytkownika

D O K U M E N T A C J A

Uniwersytet Łódzki dla dzieci

Nowe notowania epromak Professional

Divar - Archive Player. Instrukcja obsługi

MonoGame. Wieloplatformowe gry w C# Mateusz Cicheński

OpenLaszlo. OpenLaszlo

etrader Pekao Podręcznik użytkownika Strumieniowanie Excel

1) Naciśnij i przytrzymaj przez 2 sekundy ikonę z menu głównego, następnie naciśnij Potwierdź.

1 Podstawowe informacje 2. 2 Tworzenie gry Rejestracja do gry Lista gier 7. 4 Gry Archiwalne 8. 5 Lista Graczy 9

Flex 3. Piotr Strzelczyk Wydział EAIiE Katedra Automatyki. Kraków, 2008

Programowanie obiektowe

Informatyka I stopień (I stopień / II stopień) Ogólnoakademicki (ogólno akademicki / praktyczny)

Instrukcja instalacji połączenia sterownika PL11-MUT24 ze stroną internetową.

Dotacje na innowacje. Inwestujemy w waszą przyszłość.

Dell Display Manager - przewodnik użytkownika

REFERAT PRACY DYPLOMOWEJ Temat pracy: SUDOKU - Algorytmy tworzenia i rozwiązywania

Internetowy sterownik podlewania ogrodowego na LOGO! Sieciowy dostęp do LOGO! za pomocą http

Projekt z przedmiotu Specjalizowane języki programowania Temat: Zastosowanie programowania obiektowego w środowisku LabView

Ćwiczenie 25 Działania matematyczne we Flashu

podstawowa obsługa panelu administracyjnego

Blokowanie stron internetowych

1. Od czego zacząć? - Instalacja środowiska pracy

Systemy mobilne. Laboratorium. Dostęp do danych GPS w Windows Phone 7

Międzyplatformowy interfejs systemu FOLANessus wykonany przy użyciu biblioteki Qt4

windows XP n a j l e p s z e t r i k i

NAZWA PRZEDMIOTU/MODUŁU KSZTAŁCENIA: Podstawy animacji i interakcji

Podstawy programowania, Poniedziałek , 8-10 Projekt, część 1

NAZWA PRZEDMIOTU/MODUŁU KSZTAŁCENIA: Podstawy animacji i interakcji

Opis programu EKSoft Rezerwacje

Koncepcja wirtualnej pracowni GIS w oparciu o oprogramowanie open source

Unity. Platforma do tworzenia gier dla różnych systemów docelowych, m.in.: Windows, macos, ios, Android, Powstała w 2005 r., obecnie wersja 5.3.

REFERAT PRACY DYPLOMOWEJ

System detekcji i analizowania osobliwości w sygnale cyfrowym

Zacznij Tu! Poznaj Microsoft Visual Basic. Michael Halvorson. Przekład: Joanna Zatorska

DESIGNER APPLICATION. powered by

Pracownia internetowa w szkole ZASTOSOWANIA

Systemy wirtualnej rzeczywistości. Komponenty i serwisy

5.4. Tworzymy formularze

Zmiana logo. Dziękujemy za wybór naszych rozwiązań. apjoo od Apláuz. Wspólnie przebrniemy przez proces konfiguracji strony www i wstawiania treści.

Rozdział 5. Administracja kontami użytkowników

Transkrypt:

This paper should be cited as: Wichrowski, M., & Mishra, N. (2010). Zastosowanie AR i nowych form interakcji w środowisku Adobe Flex Air 2. Proceedings of the Conference: Interfejs użytkownika - Kansei w praktyce, Warszawa 2010 (pp. 63 69). Warsaw: Wydawnictwo PJWSTK. Interfejs użytkownika - Kansei w praktyce 2010 63 Zastosowanie AR i nowych form interakcji w środowisku Adobe Flex Air 2 Marcin Wichrowski Polsko-Japońska Wyższa Szkoła Technik Komputerowych Warszawa mati@pjwstk.edu.pl www.wichrowski.pl Nakul Mishra Polsko-Japońska Wyższa Szkoła Technik Komputerowych Warszawa nakul.mishra@pjwstk.edu.pl Interfejs użytkownika Kansei w praktyce 2010 ISBN 978-83-89244-87-1 Abstrakt Poniższy artykuł jest rozwinięciem artykułu Nowe metody interakcji w Adobe Flash z ubiegłorocznej edycji Kansei 2009. Prezentuje trzy prototypy aplikacji stworzonych w środowisku Adobe Flex łączących role elearningu i rozrywki. Powszechna dostępność odtwarzacza Adobe Flash Player i Adobe Air Player oraz nowo powstające biblioteki Actionscipt 3 pozwalają na dostarczanie coraz bogatszych form interakcji bezpośrednio przez przeglądarkę internetową niezależnie od platformy systemowej użytkownika lub w postaci aplikacji typu desktop. Programiści pracujący w środowiskach Flash i Flex mają do dyspozycji rosnącą liczbę rozwiązań umożliwiających współpracę z zewnętrznymi kontrolerami (np. do konsoli Nintento Wii), kamerami internetowymi oraz zastosowanie różnych form interakcji/prezentacji np. w postaci rozpoznawania gestów czy rzeczywistości wzbogaconej (augmented reality). W prezentowanych przykładach użyto bibliotek FLARManager, WiiFlash, Flexmdi, Papervision3D oraz Flex4SDK z Adobe Air 2

Interfejs użytkownika - Kansei w praktyce 2010 64 (beta). Nadrzędnym celem autorów jest zaprezentowanie możliwości bezpłatnych bibliotek i korzyści wynikających z połączenia różnych form interakcji. Słowa kluczowe Augmented reality, rzeczywistość wzbogacomna, GUI, interfejs użytkownika, elearning, gry, rozpoznawanie gestów, Flash, Flex, Nintendo Wii, WiiFlash, FLARToolKit, FLARManager, Flexmdi, Papervision3D Projekt Body parts Projekt w przystępny sposób prezentuje wybrane części ciała/narządy człowieka (serce, narządy wewnętrzne, kości przedramienia i ramienia) łącznie z ich opisem. Dzięki wykorzystaniu rzeczywistości wzbogaconej możliwe stało się umieszczenie na markerach modeli 3D odpowiadających danym organom. Markery można umieścić bezpośrednio w dedykowanych im miejscach np. na ramieniu dla lepszego zobrazowania jak wygląda jego szkielet. Dodatkowo zaimplementowano rozpoznawanie gestów pozwalających powiększać/zmniejszać, skalować oraz obracać obiekty w przestrzeni 3D. Planowany rozwój projektu Dzięki obsłudze wielu markerów możliwe staje się rozbudowywanie projektu o nowe obiekty 3D. Wzbogacenie interfejsu o przyciski znajdujące się na markerze pozwoli na dodatkową interakcję. Prezentację można rozbudować o animację danego organu i dotyczące go filmy. Możliwe również jest wykorzystanie naturalnych markerów, które mogą być np. zdjęciem danego narządu (Natural Feature Tracking). Rysunek 1. Model serca na markerze Rysunek 2. Model organów wewnętrznych na postaci

Interfejs użytkownika - Kansei w praktyce 2010 65 Projekt Chemical Lab Kolejny projekt jest również prototypem aplikacji elearningowej, której zadaniem jest przekazanie wiedzy o budowie podstawowych związków chemicznych. Głównym założeniem projektu było otrzymanie modelu wirtualnego laboratorium chemicznego. Użytkownik wybierając poszczególne pierwiastki z okna zasobnika i przerzucając je na ikonę markera powoduje pojawienie się ich na faktycznym markerze znajdującym się na np. na biurku. Gdy budowa związku dobiegnie końca można sprawdzić prawidłowość swoich działań osobny marker wizualizuje to w postaci ikon. Planowany rozwój projektu Wykorzystanie okularów z wbudowaną kamerą i ekranami oraz kontrolerów Wiimote wzbogaciłoby wrażenie przebywania wewnątrz laboratorium i wchodzenia w interakcję z otaczającym światem. Dodanie funkcjonalności wykrywania odległości między markerami pozwoliłoby na symulowanie wchodzenia w reakcję poszczególnych związków chemicznych Rysunek 3. Ekran Laboratorium z zasobnikami pierwiastków i ikoną markera, która przenosi je na rzeczywisty marker Rysunek 4. Pierwiastki na markerach

Interfejs użytkownika - Kansei w praktyce 2010 66 Projekt AR Car Game Kolejny projekt pełni rolę rozrywkową zaprojektowana gra pozwala graczom poruszać pojazdy ulokowane na markerach za pomocą kontrolerów Wiimote. Sterowanie pojazdem odbywa się przez przechylanie kontrolera i używanie wbudowanych przycisków. Jeden z graczy wciela się w rolę uciekiniera, natomiast zadaniem drugiego jest pościg. Gracz złapany przegrywa. Rysunek 5. Modele pojazdów i przeszkód na planszy do gry (wykorzystano modele dostarczane z WiiFlash) Dodatkowym utrudnieniem są przeszkody w postaci obiektów (cylindry lub kamienie), które w wypadku uderzenia przez pojazd powodują utratę jednego punktu (początkowo gracz otrzymuje 20 punktów). Utrata wszystkich punktów jest równoznaczna z przegraną. W projekcie zawarto również markery odpowiedzialne za reprezentację drzew i podłoża. Planowany rozwój projektu Dołączenie edytora, którego zadaniem byłoby dodawanie markerów i przypisanie im nowych obiektów oraz znaczeń pozwoli na rozbudowanie zasad gry. Użycie piko projektora pozwoliłoby na wyświetlanie różnych markerów w różnej konfiguracji i zmieniałoby dynamicznie pole gry. W celu ukrycia markerów na polu gry istnieje możliwość dynamicznego nałożenia na niego filtrów np. efektu blur. Realizacja projektów W projektach wykorzystano framework FLARManager (v0.7) [1] do rozpoznawania markerów i osadzania na nich obiektów 3D. Bazuje on na bibliotekach FLARToolkit i jest kompatybilny z wieloma silnikami 3D dla środowiska Flash - Alternativa3D, Away3D, Papervision3D, and Sandy3D. W przypadku opisywanych aplikacji posłużono się Papervision3D (v. 2.0. 883) [2]. Modele do projektu Body Parts wykonano w programie Maya (autor Radosław Kosierkiewicz).Obiekty low-polygon zostały przekonwertowanie do formatu collada (*.dae) dzięki dodatkowi COLLADA for Maya. Tworząc modele z myślą o ich zastosowaniu w środowiskach 3D dla aplikacji Flash należy pamiętać ich o optymalizacji zbyt skomplikowane struktury i duża objętość tekstur zdecydowanie osłabia szybkość działania aplikacji. Osadzenie modelu umożliwia kod: private var heartmodel:dae; heartmodel= new DAE(true, "model", true); heartmodel.load("heart.dae");

Interfejs użytkownika - Kansei w praktyce 2010 67 heartmodel.addfilesearchpath("assets/tex") Części składowe WiiFlash to: Jeśli projekt Body parts zostanie uruchomiony na urządzeniu wspierającym funkcje multitouch (np. HP TouchSmart lub MacPro) możliwe staje się sterowanie aplikacją za pomocą gestów. W tym celu wykorzystano biblioteki wbudowane w Flex4SDK z Adobe Air 2 (wersja beta) do rozpoznawania gestów [3]. Użyto rozpoznawanie gestów powiększania/oddalania, skalowania i rotacji. Przykładowo implementacja rozpoznawania gestu powiększania wygląda następująco: WiiFlash Server (serwer odpowiadający za komunikację komputera z kontrolerami napisany w C++ i.net) WiiFlash ActionScript API (interfejs programowania aplikacji w postaci komponentu SWC) Komunikacja z kontrolerem Wiimote odbywa się poprzez połączenie Bluetooth. W prezentowanym przykładzie do obsługi Bluetooth wykorzystano program BlueSoleil. this.mainstage.addeventlistener(transformg estureevent.gesture_zoom,onzoom); private function onzoom(e:transformgestureevent):void{ if(inner_modelcontainer.visible){ Kod odpowiedzialny za podłączenie Wiimote i nasłuchiwanie zdarzenia wciśnięcia przycisku Home: private var wiimote1:wiimote; //stworzenie obiektu typu wiimote innermodel.scalex*=e.scalex; innermodel.scaley*=e.scaley; W podobny sposób oprogramowano pozostałe gesty. W przypadku urządzeń pozbawionych tej technologii obsługa aplikacji jest możliwa z użyciem skrótów klawiaturowych. W projekcie AR Car Game wykorzystano dodatkowo jeszcze bibliotekę WiiFlash, której autorami są Joa Ebert i Thibault Imbert. Pozwala ona na komunikację z kontrolerami do konsoli Nintendo Wii. wiimote1.connect();//podlaczenie kontrolera wiimote1.addeventlistener(buttonevent.home _PRESS,onHomePress); //dodanie obslugi zdarzenia wcisniecia przycisku Home Obiekty znajdujące się na markerach mogą wchodzić we wzajemne kolizje. Sprawdzana jest również odległość pomiędzy nimi. Kod realizujący kolizję pojazdu ze skałami oraz samych pojazdów: if(car1.hittestobject(stonevect[ind])){ updatescore("car1");

Interfejs użytkownika - Kansei w praktyce 2010 68 if(car2.distanceto(car1)<=100 && car1.distanceto(car2)<=100){ finishgame("car1",-1); Przedstawione projekty są w fazie rozwojowej, dodatkowe informacje dostępne będą na stronie http://ar.pjwstk.edu.pl Inne realizacje Innym coraz częstszym przykładem wykorzystania powyższych technik są zastosowania reklamowe lub artystyczne. Ilustracją takiego projektu może być interaktywna książka przygotowana na tegoroczną Noc Muzeów w PJWSTK. Instalacja składała się z książki, której odpowiednio lewe strony były markerami, natomiast prawe zawierały tekst. Dodatkowo na statywie znajdowała się kamera internetowa i piko projektor. Dzięki rozpoznawaniu markerów przez kamerę i odpowiednio dobrane projekcje, widzowie oglądając kolejne strony mogli zaobserwować pojawiające się animacje wideo będące uzupełnieniem już istniejącego tekstu. Podczas Nocy Muzeów prezentowane były również inne projekty wykorzystujące AR (np. aplikacja Solar System, autor Nakul Mishra), które testowane były przez uczestników i spotkały się z dużym zainteresowaniem. Podsumowanie Prezentowane prototypy projektów są próbą przeniesienia koncepcji i pomysłów autorów do środowiska Flex i sprawdzenia możliwości oraz ograniczeń bezpłatnych bibliotek. Dostępność tych rozwiązań i łatwość ich użycia oraz łączenia otwiera drogę do realizacji ciekawych interakcyjnie i wizualnie programów nie tylko z zakresu rozrywki, ale również elearningu. Zastosowane biblioteki wymagają jeszcze optymalizacji i ulepszeń jednak należy się spodziewać, że kolejne wersje przyniosą lepsze rezultaty. Zaproponowane środowisko dodatkowo pozwala na przeniesienie aplikacji do przeglądarki internetowej i tym samym zwiększenie liczby ich odbiorców. Rysunek 6. Interaktywna książka (autorzy: Bogna Kowalska i Marcin Wichrowski).

Interfejs użytkownika - Kansei w praktyce 2010 69 Bibliografia [1] http://words.transmote.com/wp/flarmanager/ [2] http://www.papervision3d.org/http://www.mi kkoh.com/blog/?p=182 [3] http://labs.adobe.com/technologies/air2/