SYSTEM KOMPUTEROWEGO WSPOMAGANIA DYDAKTYKI Z WYKORZYSTANIEM TECHNIK POSZERZONEJ RZECZYWISTOŚCI. Marcin JANUSZKA *

Transkrypt

1 SYSTEM KOMPUTEROWEGO WSPOMAGANIA DYDAKTYKI Z WYKORZYSTANIEM TECHNIK POSZERZONEJ RZECZYWISTOŚCI Marcin JANUSZKA * STRESZCZENIE W artykule autor prezentuje prototypowy system komputerowego wspomagania dydaktyki z przedmiotu Podstawy Konstrukcji Maszyn, wykorzystujący nowoczesne techniki wizualizacji tzw. poszerzoną rzeczywistość (AR). Opisywany system wykorzystuje techniki poszerzonej rzeczywistości, pozwalające łączyć interaktywny, komputerowo generowany świat ze światem rzeczywistym w taki sposób, aby stanowiły one jedno zsyntezowane środowisko. Tryb AR służący do wizualizacji danych jest bardziej intuicyjny niż tradycyjne sposoby wizualizacji z wykorzystaniem płaskiego ekranu. Osoba prowadząca zajęcia z wykorzystaniem opisywanego systemu ma możliwość ilustrowania wykładanej wiedzy przykładami w postaci trójwymiarowych interaktywnych modeli i środowisk. 1. WPROWADZENIE Dydaktyka przedmiotów technicznych nie powinna być współcześnie realizowana bez ścisłego związku z technikami komputerowymi. W trakcie realizacji procesu dydaktycznego powinny być wykorzystywane metody i narzędzia zachęcające słuchacza do działania i myślenia [13]. Interaktywny sposób prezentacji treści zajęć dydaktycznych może umożliwić lepsze przyswajanie wiedzy, bez problemów z jej interpretacją. Naukowcy udowadniają, że prezentowane w ten sposób treści stają się ciekawsze dla * mgr inż. Marcin Januszka, Katedra Podstaw Konstrukcji Maszyn Politechniki Śląskiej w Gliwicach, ul. Konarskiego 18a, Gliwice, marcin.januszka@polsl.pl

2 odbiorcy [7] [11]. Obecnie coraz częściej mamy do czynienia z bardzo kosztownymi i skomplikowanymi układami mechanicznymi (np. nowoczesne silniki). Studenci bez kontaktu z fizycznymi obiektami, a bazując jedynie na dwuwymiarowych rysunkach, zdjęciach i filmach mają coraz większą trudność wyobrażenia sobie, jak wygląda dany środek techniczny i jego różne podsystemy składowe. Dzięki nowoczesnym systemom komputerowym możliwe jest zwiększenie czytelności prezentowanych treści dydaktycznych. Do tych celów z pomocą przychodzą innowacyjne technologie wizualizacji (monitory 3D, systemy wirtualnej rzeczywistości). Proces dydaktyczny może być także w efektywny sposób wspomagany poprzez zastosowanie nowoczesnych systemów tzw. poszerzonej rzeczywistości (ang. augmented reality, AR). Termin poszerzona (rozszerzona lub wzbogacona) rzeczywistość opisuje systemy, w których komputerowo generowana informacja nakładana jest na obraz świata rzeczywistego, w taki sposób, aby stanowiły one jedno zsyntezowane środowisko [1]. W przeciwieństwie do bardziej popularnej wirtualnej rzeczywistości, w której użytkownik jest całkowicie zanurzony w środowisku wirtualnym, poszerzona rzeczywistość daje swobodę działania w środowisku rzeczywistym przy możliwości wzbogacania percepcji człowieka za pomocą wirtualnych obiektów [2]. Elementy wzbogacające rzeczywistość mogą mieć różne formy np. trójwymiarowych modeli, napisów, schematów, zdjęć, filmów, informacji dźwiękowych. Pierwsze próby wykorzystania technik umożliwiających immersję (całkowitą - w przypadku systemów VR lub częściową - w przypadku systemów AR) w środowisku wirtualnym, wspomagających proces dydaktyczny podjęte zostały dopiero kilkanaście lat temu [7]. Ten obszar badań rozwija się jednak niezwykle dynamicznie. Analizy interakcji pomiędzy nauczycielem i uczeniem w przypadku tradycyjnego nauczania oraz nauczania wspomaganego technikami poszerzonej rzeczywistości potwierdzają większe zaangażowanie się w zdobywanie wiedzy w tym drugim przypadku [8]. Obecnie opracowywane na świecie systemy poszerzonej rzeczywistości dla zastosowań edukacyjnych znajdują zastosowanie między innymi w: szkoleniach inżynierskich - w zakresie projektowania, konstruowania maszyn i eksploatacji maszyn (np. obsługi technicznej, operatorskiej), szkoleniach medycznych - z zakresu chirurgii i ratownictwa (np. wirtualne operacje, symulacja akcji ratunkowej), nauczaniu początkowym - zgodnie z zasadą nauka przez zabawę, na wirtualnych modelach w rzeczywistym środowisku (np. odtwarzanie scen historycznych, symulacje zjawisk fizycznych, prezentacje modeli anatomicznych), pomocy w sytuacjach z życia codziennego. W niniejszym artykule autor prezentuje opracowany w Katedrze Podstaw Konstrukcji Maszyn prototypowy system wykorzystujący techniki poszerzonej

3 rzeczywistości, wspomagający studentów w nauce zagadnień z zakresu podstaw konstrukcji maszyn. Opracowany system w dużym stopniu oparto na wynikach badań autora w zakresie systemu wspomagającego proces projektowania i konstruowania maszyn, prezentowanych m.in. w [3], [4] i [5]. 2. KOMPONENTY SYSTEMU Obecnie koszt komponentów sprzętowych (głównie stosowanych wyświetlaczy) dla systemów poszerzonej rzeczywistości jest pewnym ograniczeniem, wpływającym na wykorzystanie tego typu systemów w warunkach domowych. Wyposażanie uczestników e-kursów w osprzęt VR jest obecnie raczej nierealne. Jednakże ciągły i bardzo dynamiczny rozwój w tym zakresie w przyszłości z pewnością przyczyni się do szerszego wykorzystania, niż tylko w uczelniach. W ramach prowadzonych badań przyjęto minimalne wymagania i parametry sprzętowe dla systemu poszerzonej rzeczywistości w celu ograniczenia kosztów budowy takiego systemu. Podstawowe komponenty sprzętowe dla opracowanego systemu AR to: komputer- stacja robocza CAD, wyświetlacz nagłowny (ang. Head Mounted Display, HMD) I-glasses i-3pc 3D, kamera internetowa Logitech HD Webcam C910, zestaw drukowanych markerów. Do wyświetlacza HMD przymocowana jest kamera. Kamery rejestrują obrazy świata otaczającego użytkownika systemu i przesyłają zarejestrowane obrazy do komputera. Za pomocą wyświetlacza HMD możliwe jest natomiast dostarczenie użytkownikowi zsyntezowanego obrazu obrazu środowiska rzeczywistego pochodzącego z kamery, wzbogaconego o komputerowo wygenerowane obiekty wirtualne. Opracowany system bazuje na zbiorze bibliotek oprogramowania ARToolKit (opracowanym przez HIT Lab [14]) oraz parserze LibVRML97 do odczytywania oraz wyświetlania plików w formacie VRML (Virtual Reality Modeling Language). ARToolKit bazuje na technice komputerowej analizy obrazu, która wykorzystywana jest w procesie precyzyjnego nakładania modeli w czasie rzeczywistym na obrazy świata rzeczywistego (z kamery). Do prawidłowego nakładania komputerowo generowanych obiektów na obraz świata rzeczywistego program ARToolKit wykorzystuje drukowane markery i wyświetlacz HMD. Każdy z markerów przedstawia cyfrowo zakodowany wzór, dlatego możliwa jest identyfikacja danego markera. Optyczny system śledzący korzystający z kamery, bazujący na technice komputerowej analizy obrazu śledzi w czasie rzeczywistym położenie i orientacje markera względem kamery oraz rozpoznaje jego symbol, dzięki czemu możliwe jest wyświetlanie odpowiedniego wirtualnego obiektu dokładnie w miejscu markera, zgodnie z jego położeniem i orientacją. Położenie i orientacja markera pozwalają zidentyfikować kierunek w którym skierowany jest wzrok użytkownika

4 (położenie głowy względem markera), w rezultacie czego świat realny oglądany przez wyświetlacz HMD wzbogacony jest w prawidłowy sposób o komputerowo generowane obiekty. Szczegółowo proces nakładania obiektów wirtualnych na obraz świata rzeczywistego przedstawiono m.in. w [5] i [6]. 3. ZASTOSOWANIE SYSTEMU Tryb poszerzonej rzeczywistości służący do wizualizacji danych jest bardziej intuicyjny niż tradycyjne sposoby wizualizacji z wykorzystaniem płaskiego ekranu [10]. System daje tym samym studentowi lepsze wyobrażenie o omawianym zagadnieniu. Osoba prowadząca zajęcia z wykorzystaniem opisywanego systemu ma możliwość ilustrowania wykładanej wiedzy przykładami w postaci trójwymiarowych interaktywnych modeli i środowisk. Interaktywne wirtualne obiekty mogą zastępować rzeczywiste obiekty (np. przekładnie, łożyska, układy napędowe). Modele prezentowane są w przestrzeni rzeczywistej, otaczającej użytkownika. Możliwy jest pewien stopień interakcji z obiektami. Student ma możliwość zmiany położenia i orientacji poszczególnych elementów przedstawianego układu maszynowego względem siebie (istotne dla symulacji montażu układów), przeglądania układów z dowolnej perspektywy oraz w dowolnie wybranej skali, w tym szczególnie istotnej skali 1:1 (szczególnie istotne w zagadnieniach projektowania ergonomicznego, np. w celu zbadania pola widzenia). W przyszłości system udoskonalony może zostać o dodatkową interakcję pozwalającą na wzbogacenie wrażeń dotykowych. W obecnej wersji systemu w przestrzeni rzeczywistej otaczającej użytkownika poza modelami 3D obiektów możliwe jest także prezentowanie informacji i danych w innej postaci, w tym: tekstu, wykresów, schematów, zdjęć, filmów oraz plików dźwiękowych. Opracowany system pomimo, że wymaga większego zaangażowania w przygotowanie materiałów do zajęć, niż ma to miejsce w modelu tradycyjnym, może przyczynić się do lepszego przyswajania i rozumienia przekazywanych studentom treści dydaktycznych. Efektywnie prowadzone zajęcia, to zajęcia które przyciągają odbiorcę (studenta) i zachęcają do udziału, a przede wszystkim utrzymują uwagę szkolonego podczas realizowanego procesu dydaktycznego. Ma to wpływ na szybkość uczenia się i trwałość zdobytej wiedzy. Zastosowanie nowoczesnych technik wizualizacji i interakcji z wirtualnymi obiektami w znacznym stopniu uatrakcyjnia prowadzone zajęcia PROJEKTOWANIE ROBOTA MOBILNEGO Opracowany system pozwala wspomagać ćwiczenia projektowe w temacie projektowania robotów mobilnych. Student dzięki wykorzystaniu

5 systemu ma możliwość zapoznania się z pewnymi rozwiązaniami konstrukcyjnymi układów mechanicznych, stosowanymi w robotach mobilnych, m.in. w zakresie wyboru silników, układów przeniesienia napędu, układów zawieszenia, doboru typów kół itd. (rys. 1). Istnieje możliwość wizualnej analizy rozwiązania konstrukcyjnego wzbogaconej o informacje w postaci instrukcji tekstowych (opisy), filmów oraz plików dźwiękowych. Zasadnicza korzyść wynikająca z wizualizacji obiektów w trybie poszerzonej rzeczywistości to możliwość interakcji, która polega na manipulowaniu położeniem w środowisku rzeczywistym w celu lepszej, bardziej intuicyjnej analizy wzrokowej. Wyświetlane modele mogą być przeglądane w niezwykle intuicyjny sposób, z dowolnej perspektywy oraz w dowolnej skali (w tym 1:1) [9]. Rys. 1. Przegląd rozwiązań układów napędowych stosowanych w robotach mobilnych System AR umożliwia także weryfikację opracowanego przez studentów w ramach zajęć projektowych modelu 3D robota. Student, który wykonał wirtualny model robota w środowisku CAD (np. CATIA) po wyeksportowaniu do systemu AR ma możliwość wizualizacji robota w środowisku go otaczającym. W przypadku analizy grupowej (por. [12]), każdy z obserwatorów ma możliwość oglądania wirtualnego modelu robota ze swojej perspektywy. W niektórych przypadkach wykorzystanie systemu AR może usprawnić proces oceny danego rozwiązania (np. weryfikację wymiarową). Wyobraźmy sobie sytuację, że chcemy sprawdzić czy opracowane rozwiązanie małego robota mobilnego gwarantuje, że wjedzie on po rampie wjazdowej i zmieści się w przestrzeni ładunkowej dużego robota transportowego (rys. 2). Wykorzystanie systemu AR eliminuje konieczność dokonania pomiarów i pewnych obliczeń, a oceny możemy dokonać wzrokowo, w prosty sposób. Opracowany system stwarza także studentom możliwość nabierania podstawowych umiejętności i wprawy w obsłudze danego rzeczywistego urządzenia bez obawy o uszkodzenie kosztownego sprzętu (rys. 3).

6 Rys. 2. Weryfikacja wykonanego modelu robota w odniesieniu do istniejących obiektów rzeczywistych: analiza wjazdu robota po rampie (na górze), b) porównanie wymiarów (na dole) Istnieje możliwość zapoznania się z podstawowymi komponentami wchodzącymi w skład rzeczywistego urządzenia/maszyny, instrukcjami uruchomienia, obsługi i naprawy (instrukcje krok po kroku, z wizualizacją czynności w czasie rzeczywistym) oraz symulacjami działania, w trybie AR. Rys. 3. Instrukcje naprawy (po lewej) oraz budowa robota mobilnego (po prawej) 3.1. BUDOWA I ZASADA DZIAŁANIA PRZEKŁADNI ZĘBATEJ Jednym z przykładów zastosowania opracowanego systemu jest wspomaganie zajęć poświęconych problematyce przekładni zębatych. Za

7 pomocą systemu prowadzący ma możliwość zapoznania studentów z budową i działaniem przykładowej wirtualnej przekładni zębatej (rys. 4). System wspomaga prowadzącego w omawianiu zagadnień poświęconych: rodzajom kół zębatych (w tym zarysom zębów, podstawowym wymiarom kół, metodom obróbki), kinematyce zazębiania oraz łożyskowaniu. Student ma możliwość zapoznania się z budową przykładowych reduktorów, komponentami, zasadami projektowania (m.in. korpusów, wałów) lub zasadami doboru elementów (np. łożysk). Rys. 4. Budowa i komponenty reduktora walcowego 4. PODSUMOWANIE I WNIOSKI Opracowany prototypowy system powinien wspomagać proces kształcenia, a nie zastępować go. Poszerzona rzeczywistość nie jest zapewne idealnym rozwiązaniem dla wspomagania nauczania wszystkich możliwych zagadnień z zakresu podstaw konstrukcji maszyn. Zastosowanie technik AR wspomagających nauczanie większości zagadnień powinno być jednak poważnie rozważone szczególnie z uwzględnieniem korzyści jakie niesie ze sobą, tj. większe możliwości treningowo-edukacyjne, lepsza interpretacja prezentowanej wiedzy, częściowe zastąpienie kosztowego rzeczywistego sprzętu wirtualnymi odpowiednikami, możliwość efektywnego zdalnego kształcenia. Zastosowanie modeli trójwymiarowych daje możliwość stworzenia wirtualnego laboratorium, które poprzez możliwości zaawansowanej interakcji częściowo może zastąpić rzeczywiste laboratorium, często z drogim i skomplikowanym wyposażeniem w postaci rzeczywistych maszyn i urządzeń. Aby system wspomagający nauczanie, bazujący na technikach AR niósł korzyści, konieczne jest spełnienie pewnych warunków m.in.: system powinien stwarzać możliwość zapoznania się z materiałem dydaktycznym w czasie nie dłuższym, niż w przypadku tradycyjnego procesu nauczania; system powinien pozwalać na prezentowanie obiektów z interakcją, jak najbardziej zbliżoną do

8 interakcji z rzeczywistymi obiektami; nakłady kosztów niezbędne na opracowanie wirtualnego modelu obiektu muszą być znacząco niższe, niż zakup rzeczywistego obiektu; system powinien umożliwiać wizualizację obiektów wirtualnych w połączeniu z rzeczywistymi obiektami lub środowiskiem (np. wirtualne łożysko montowane na rzeczywistym wale); system powinien pozwalać na szybką ocenę prezentowanego rozwiązania konstrukcyjnego np. pod kątem funkcjonalności, ergonomiczności itp. Opracowany system dotychczas został zweryfikowany w wąskim gronie studentów. W przyszłości autor planuje wykorzystać opisywany system w rzeczywistym procesie nauczania większej grupy studentów. W przyszłości system mógłby być wykorzystywany także w procesach zdalnego kształcenia (np. mobilne nauczanie - ang. m-learning lub nauczanie z wykorzystaniem Internetu ang. e-learning) lub mieszanego kształcenia (ang. blended learning). W przypadku zdalnego kształcenia utrudniony jest (często wręcz niemożliwy) kontakt studenta z rzeczywistymi obiektami, z którymi miałby kontakt w trakcie tradycyjnie prowadzonych zajęć (np. w salach laboratoryjnych). System zapewniałby możliwość przedstawiania (np. w warunkach domowych) studentowi wiedzy teoretycznej ilustrowanej interaktywnymi wirtualnymi trójwymiarowymi obiektami (elementami maszyn, urządzeń itp.). Możliwe byłoby wtedy zdalne prowadzenie ćwiczeń laboratoryjnych z czynnym udziałem studenta, podczas których rzeczywiste obiekty laboratoryjne zastąpione byłyby obiektami wirtualnymi z interakcją zbliżoną, jak z rzeczywistym obiektem. LITERATURA [1] Azuma R.T.: A Survey of Augmented Reality. Teleoperators and Virtual Environments 6, 4 (1997): [2] Dunston P.S., Wang X., Bilinghurst M., Hampson B.: Mixed reality benefits for design perception. ISARC, Gaithersburg, 2002; pp [3] Januszka M.: Zastosowanie technik poszerzonej rzeczywistości w cyfrowym prototypowaniu, Mechanik, Nr. 8-9, 2010, s [4] Januszka M., Moczulski W.: Augmented reality for machinery systems design and development. Pokojski J., Fukuda S., Salwiński J. (Eds.): New World Situation New Directions in CE, Springer, 2010; s [5] Januszka M., Moczulski W.: Machinery design aided by augmented reality technology. CAMES, 14(2007): [6] Kato H., Billinghurst M.: Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System. IWAR 99, 1999 [7] Kaufmann H.: Collaborative Augmented Reality in Education. Proceedings of Imagina 2003 Conference

9 [8] Kerawalla L., Luckin R., Seljeflot S., Woolard A.: Making it real : exploring the potential of augmented reality for teaching primary school science. Virtual Reality, 2006(10): [9] Liarokapis F.: An augmented reality interface for visualizing and interacting with virtual content. Virtual Reality 11(2007), s [10] Nölle S., Klinker G.: Augmented Reality as a Comparison Tool in Automotive Industry. Proc. of ISMAR 2006, s [11] Pemberton H., Winter M.: Collaborative augmented reality in schools. Proceedings of the CSCL'09, Vol. 2, 2009 [12] Shen Y., Ong S.K., Nee A.Y.C.: Augmented reality for collaborative product design and development. Design Studies, 2009; 31(2): [13] White M., Jay E., Liarokapis F., Kostakis C., Lister P.: A virtual interactive teaching environment using XML and augmented reality. International Journal of Electrical Engineering Education, 2001; 38(4): [14] ARToolKit Documentation HITLab, dostępne dn. 29 marzec 2011r.: < Praca wpłynęła do Redakcji dd.mm.2011 (9 pkt) Recenzent: prof. dr hab. inż. Imię i Nazwisko THE SYSTEM FOR COMPUTER AIDED EDUCATION WITH THE USE OF AUGMENTED REALITY TECHNIQUES SUMMARY In the paper the author presents a prototype system for computer aided education with the use of augmented reality (AR) techniques, for the subject of fundamentals of machinery design. The system uses augmented reality techniques which able to combine the interactive computer-generated world with an interactive real world in such a way that they appear as one environment. AR mode for presenting data is more clear and intuitive than conventional one (with the use of flat screen). A teacher (lecturer) with the use of the presented system has possibility to diversify and enrich education process (process of teaching) thanks to 3D interactive models and environments.