Dr hab. inż. Andrzej GRABOWSKI, profesor CIOP-PIB Centralny Instytut Ochrony Pracy Państwowy Instytut Badawczy, Pracownia Technik Rzeczywistości Wirtualnej WPŁYW POLA WIDZENIA NA ODBIÓR SYMULACJI SZKOLENIOWEJ W ŚRODOWISKU WIRTUALNYM Streszczenie: Jednym z najważniejszych parametrów opisujących wysoce immersyjne wirtualne środowiska szkoleniowe jest pole widzenia oferowane przez okulary rzeczywistości wirtualnej. W pracy przedstawione są wyniki badań dotyczące wpływu pola widzenia m.in. na ogólną ocenę symulacji oraz zagregowane wskaźniki jakości symulacji. Badania przeprowadzono w oparciu o aplikację szkoleniową dotyczącą wykonywania prac strzałowych w podziemnej kopani węgla kamiennego i dwa rodzaje okularów rzeczywistości wirtualnej, o wąskim (45 ) oraz szerokim (110 ) polu widzenia. THE INFLUENCE OF FIELD OF VIEW ON TRAINING IN VIRTUAL ENVIRONMENT Abstract: One of the most important parameters describing a highly immersive virtual training environment is the field of view offered by head mounted display. In the paper research results concerning the influence of field of view on the overall assessment of simulation and aggregate indicators of quality of the simulation are presented. The study was conducted on the basis of virtual reality-based training application for blasting works in underground coal mines and two head mounted displays, with a narrow (45 ) and wide (110 ) field of view. Słowa kluczowe: rzeczywistość wirtualna, aplikacje szkoleniowe, obecność przestrzenna, realizm symulacji Keywords: virtual reality, training application, spatial presence, immerse simulations 1. WPROWADZENIE Rzeczywistość wirtualna (VR Virtual Reality) jest coraz częściej stosowana w celach szkoleniowych. Za pomocą środowisk wirtualnych można z łatwością symulować dowolne warunki, wspierając w ten sposób proces zapamiętywania informacji. Ponadto techniki VR są niezwykle skuteczne w zakresie pozyskiwania i transferu wiedzy ukrytej (tacit knowledge), czyli wiedzy wynikającej z doświadczenia [1, 2]. Wykorzystanie symulacji jest szczególnie przydatne w przypadku wykonywania prac szczególnie niebezpiecznych i wymagających dużego doświadczenia [3], z tego względu takie szkolenia stosuje się np. w medycynie (np. w celu bezpiecznego przećwiczenia operacji chirurgicznych) [4], w zagadnieniach dotyczących elektrowni nuklearnych lub górnictwa, zwłaszcza w odniesieniu do podziemnych kopalń węgla kamiennego. Przegląd prac opisujących wykorzystanie technik VR o różnym stopniu immersyjności przedstawiono w [5]. Rozważając proces szkolenia, ważne jest 195
zidentyfikowanie kluczowych czynników wpływających na skuteczność tego procesu, jak np. stan poznawczo-afektywny osób uczących się [6] lub pole widzenia (FoV Field of View) [7]. Zastosowanie nowych, bardziej skutecznych technik szkoleniowych powinno być wykorzystywane przede wszystkim w szkoleniu nowych, niedoświadczonych pracowników. Dane statystyczne dotyczące wypadków przy pracy w polskich kopalniach węgla kamiennego pokazują, że osoby młode, ze stażem pracy nie dłuższym niż trzy lata, powodują 18% wszystkich wypadków przy pracy, stanowią zaś zaledwie 6% załogi [8]. W przypadku wysoce immersyjnych środowisk wirtualnych obraz wygenerowanego za pomocą komputera świata przedstawiany jest najczęściej z wykorzystaniem okularów rzeczywistości wirtualnej HMD (Head Mounted Display). Urządzenia te wyświetlają poprawny obraz stereoskopowy niezależnie od położenia i orientacji głowy, co obecnie nie jest możliwe z wykorzystaniem innych technik. Najważniejszym parametrem opisującym tego typu urządzenia jest pole widzenia FoV. Szerokie pole widzenia sprzyja zapamiętywaniu abstrakcyjnych informacji o położeniu obiektów (różnych brył geometrycznych) [7], brakuje jednak doniesień, jak FoV wpływa na przebieg i odbiór symulacji szkoleniowej w środowisku wirtualnym w oparciu o scenariusz szkoleniowy bazujący na rzeczywistych, a nie abstrakcyjnych procedurach wykonywania zadań. Interakcja z środowiskiem wirtualnym odbywa się z wykorzystaniem odpowiednich rękawic rejestrujących ruch palców, dzięki czemu możliwe jest przedstawienie w rzeczywistości wirtualnej awatara dłoni oraz manipulacja wirtualnymi przedmiotami (przyrządami, dźwigniami, przyciskami itp.). W pewnych przypadkach korzystne jest stosowanie rzeczywistych atrap wirtualnych obiektów w celu zaangażowania zmysłu dotyku [9]. Warto nadmienić, że techniki rzeczywistości wirtualnej stosowane są również często w zakresie wspomagania rehabilitacji kończyn górnych [10], wspomagania projektowania stanowisk pracy do potrzeb osób niepełnosprawnych [11], PB_SAMOCHODY [12] oraz w zagadnieniach związanych z teleobecnością i teleoperacją, np. do zdalnego sterowania mobilnymi robotami inspekcyjnymi [13]. 2. APARATURA ZASTOSOWANA W BADANIACH W badaniach wykorzystano dwa rodzaje okularów rzeczywistości wirtualnej HMD (Head Mounted Display) o różnym polu widzenia FoV (Field of View): Sony HMZ-T1 wyświetlający obraz stereoskopowy w rozdzielczości 1280x720 punktów oraz o polu widzenia równym 45 stopni; Oculus Rift wyświetlający obraz stereoskopowy, rozdzielczość ekranu to 1280 x 800 punktów, natomiast pole widzenia wynosiło 110 stopni. Obraz do HMD przesyłany był drogą bezprzewodową, z tego względu osoby biorące udział w symulacji nosiły na sobie pas z zamocowaną m.in. anteną i baterią (rys. 1). Do poprawnego funkcjonowania symulacji w wysoce immersyjnym środowisku rzeczywistości wirtualnej konieczne jest zastosowanie również odpowiednich rękawic oraz systemu śledzenia. Do badań wykorzystano opracowany w CIOP-PIB hybrydowy system śledzenia. Składa się on z dwunastu kamer rejestrujących obraz z częstotliwością 100 Hz, co pozwala na rejestrację nawet szybkich ruchów śledzonych obiektów [14]. Każda z kamer wyposażona jest w oświetlacz złożony z diod świecących w bliskiej podczerwieni oraz filtr typu IR-PASS przepuszczający tylko promieniowanie podczerwone. Część wizyjna systemu śledzenia odpowiedzialna jest za wyznaczanie w przestrzeni trójwymiarowej położenia znaczników 196
w postaci kulek dobrze odbijających promieniowanie podczerwone. W celu wyznaczenia orientacji wybranego obiektu zastosowano układ elektroniczny typu AHRS składający się z magnetometru, akcelerometru oraz żyroskopu elektronicznego. Układ ten przesyła do jednostki centralnej dane z częstotliwością 250 Hz za pośrednictwem interfejsu Bluetooth. Układ tego typu został zainstalowany na HMD oraz rękawicach. Rys. 1. Schemat ukazujący sposób wykorzystania aparatury umożliwiającej stworzenie stanowiska zanurzeniowej rzeczywistości wirtualnej. Na głównym zdjęciu widoczny jest HMD (Head Mounted Display okulary rzeczywistości wirtualnej) o polu widzenia 110 stopni (FOV 110), natomiast w lewym dolnym rogu przedstawiony jest HMD o polu widzenia 45 stopni (FOV 45) Opracowana w CIOP-PIB rękawica składa się z układu elektronicznego (zawierającego m.in. moduł AHRS oraz moduł Bluetooth), baterii, znacznika systemu wizyjnego oraz trzech sensorów ugięcia (na kciuku, palcu wskazującym i środkowym). Dane rejestrowane przez rękawice są przesyłane drogą bezprzewodową. Zastosowana aparatura pozwala na swobodne przemieszczanie się po środowisku wirtualnym oraz łatwą i naturalną interakcję z elementami tego środowiska, tzn. że osoba zanurzona w środowisku wirtualnym wykonuje dokładnie te same ruchy co w odpowiadającym mu środowisku rzeczywistym. 3. WYNIKI BADAŃ PRZEPROWADZONYCH Z UDZIAŁEM OCHOTNIKÓW Podstawową metodą oceny wirtualnego środowiska wzbogaconego o możliwość zaangażowania zmysłu dotyku była metoda User Testing [15] polegająca na przeprowadzeniu 197
serii badań z udziałem ochotników, którzy nie są ekspertami w dziedzinie rzeczywistości wirtualnej (efektywność tej metody jest znacznie wyższa niż wykorzystanie oceny ekspertów [15]). Z tego względu w ramach drugiego etapu zadania badawczego przeprowadzone zostały badania z udziałem 21 ochotników. Ponieważ czynności wykonywane w środowisku wirtualnym dotyczyły prac strzałowych, czyli przygotowania przodka i detonacji ładunków wybuchowych w podziemnej kopalni węgla kamiennego, ochotnikami byli pracownicy mający doświadczenie w pracy na dole kopalni. Średni wiek osób biorących udział w badaniu to 45,7 lat (SD = 6,7), natomiast średnie doświadczenie zawodowe w pracy w górnictwie wyniosło 22,8 lat (SD = 5,8). Ochotnicy zostali podzieleni na dwie grupy, pierwsza z nich (dziesięć osób) brała udział w symulacji z wykorzystaniem HMD o wąskim polu widzenia (FOV 45), natomiast druga grupa (pozostałe jedenaście osób) korzystała z HMD o szerokim polu widzenia (FOV 110). Po zakończeniu badań w środowisku wirtualnym wszyscy ochotnicy wypełnili tę samą ankietę w celu oceny jakości symulacji i przebiegu szkolenia. Wykorzystana ankieta pozwoliła na ogólną ocenę symulacji szkoleniowej (rys. 2) oraz wyznaczenie zagregowanych wskaźników jakości symulacji (rys. 3) ze szczególnym uwzględnieniem immersyjności i obecności przestrzennej (rys. 4). Pytania, dla których wpływ pola widzenia HMD był istotny, statystycznie zostały przedstawione w tabeli 1. Uzyskane wyniki pokazują, że szersze pole widzenia najsilniej wpływa na subiektywnie postrzegany realizm symulacji (rys. 2) oraz możliwości manipulowania wirtualnymi przedmiotami (rys. 3). Możliwość obserwacji większego fragmentu wirtualnego środowiska pozytywnie wpływa na orientację w przestrzeni symulacji i przemieszczanie się po tym środowisku (rys. 3), czego należało się spodziewać. W tym przypadku różnice są zdecydowanie mniejsze. Niewielkie różnice, na korzyść HMD o szerokim FoV, zaobserwowano dla prawie wszystkich wskaźników opisujących jakość symulacji w zakresie immersyjności i obecności przestrzennej (rys. 4). Wyjątek stanowi samopoczucie w trakcie symulacji. Wynik ten powiązany jest z oceną czasu trwania symulacji, w przypadku FOV 110 ochotnicy uznawali, że symulacja jest za długa częściej niż w przypadku FOV 45 (rys. 2). Związane jest to z tym, że wykorzystywany HMD o szerokim polu widzenia (Oculus Rift) jest dostępny tylko w wersji deweloperskiej. Charakteryzuje się ona stosunkowo niską jakością ekranu LCD (ma on zdecydowanie gorszą jakość niż wyświetlacze OLED stosowane w HMZ-T1 produkcji Sony). HMD Oculus Rift ma zdecydowanie za niską rozdzielczość jak na tak szerokie pole widzenia, co sprawia, że rozmiary kątowe poszczególnych pikseli są kilkukrotnie większe niż w przypadku HMZ-T1. Sama niska rozdzielczość ekranu nie byłaby istotnym problemem, niestety jest ona związana z niskim czasem reakcji oraz dużymi przerwami pomiędzy pikselami. Te dwa parametry sprawiają, że podczas szybkich ruchów głowy wyświetlany obraz wydaje się być rozmazany i jest w sposób widoczny opóźniony, przez co informacje z narządu wzroku nie są zbieżne z informacjami pochodzącymi od błędnika. Tego typu efekty mogą u niektórych osób prowadzić do pojawienia się objawów tzw. choroby symulatorowej. 198
Rys. 2. Ocena ogólna symulacji szkoleniowej Rys. 3. Zagregowane wskaźniki jakości symulacji Rys. 4. Wskaźniki jakości symulacji immersyjność (obecność przestrzenna) Poniższa tabela zawiera wyniki testów statystycznych służących wyznaczeniu istotności statystycznej dla różnicy wartości średnich uzyskiwanych dla poszczególnych pytań ankiety wypełnianej po badaniu. Przedstawione zostały tylko te pytania, dla których wartość istotności statystycznej jest odpowiednio mała, tzn. p < 0,05. W większości przypadków wyniki uzyskiwane w grupie korzystającej z HMD o szerokim polu widzenia są korzystniejsze (np. manipulowanie przedmiotami było łatwiejsze). 199
Tabela 1. Pytania, dla których odpowiedzi są statystycznie istotnie różne dla dwóch grup osób badanych PYTANIE FOV 45 vs. FOV 110 wartość p FOV 45 FOV 110 wartości średnie Jako ogólnie ocenia Pan/i symulację szkoleniową? Uchwycenie/podniesienie przedmiotów potrzebnych do wykonania zadania było trudne. 0,03 4,4 3,0 Szybko wdrożyłem się w przedstawione środowisko. 0,01 5,4 6,2 Mogłem skoncentrować się na wykonywanym zadaniu szkoleniowym, a nie na obsłudze aparatury szkoleniowej. 0,02 5,0 6,3 Reakcja symulacji na moje czynności była prawidłowa. 0,01 4,8 5,9 Moje doświadczenia z symulacji szkoleniowej pokrywały się z doświadczeniami ze świata rzeczywistego. 0,01 4,6 5,7 Chciałbym często używać tego środowiska szkoleniowego. 0,001 5,0 6,3 Poszczególne części tego środowiska są funkcjonalne. 0,01 5,0 6,2 Zadanie szkoleniowe wykonywane w środowisku wirtualnym było według mnie: łatwe 1, wymagające 7 0,02 3,3 5,1 krótkie 1, długie 7 0,001 5,1 3,9 4. WNIOSKI Wyniki przeprowadzonych badań jednoznacznie wskazują, że pole widzenia okularów rzeczywistości wirtualnej HMD jest istotnym parametrem wpływającym na jakość, przebieg i odbiór symulacji szkoleniowej odbywającej się w środowisku wirtualnym. Należy oczekiwać, że w momencie pojawienia się nowych modeli HMD z zastosowanym ekranem o lepszych parametrach (przede wszystkim wyższa rozdzielczość, niższy czas reakcji matrycy LCD, mniejsze przerwy pomiędzy poszczególnymi pikselami), wpływ wysokiego FoV będzie jeszcze wyraźniejszy i zmniejszą się negatywne efekty korzystania z wersji deweloperskiej HMD Oculus Rift zaobserwowane w trakcie badania. Zastosowanie wysoce immersyjnych technik rzeczywistości wirtualnej do szkoleń umożliwi nowym pracownikom uzyskanie wysokiego poziomu kompetencji jeszcze przed rozpoczęciem pracy w rzeczywistych warunkach, co jest szczególne istotne ze względu na fakt, że w 2012 roku ok. 20% wypadków w górnictwie dotyczyło młodych pracowników (staż pracy krótszy niż jeden rok), a w przypadku pracowników ze stażem pracy 4-5 lat liczba wypadków jest znacznie mniejsza i wynosi 12%. Ulepszony proces szkoleń pozwoli na zwiększenie świadomości pracowników górnictwa w zakresie zagrożeń występujących w kopalni. Zdobyta wiedza i poprawa umiejętności pracowników pozwoli na zmniejszenie liczby wypadków śmiertelnych oraz osób rannych w wypadkach górniczych. Jest to szczególnie ważne, gdyż warunki pracy w tym sektorze należą do najbardziej niebezpiecznych, co wyraża się stosunkowo wysokimi wskaźnikami wypadków przy pracy w porównaniu z innymi sektorami przemysłu lub usług. 200
*** Publikacja opracowana na podstawie wyników II etapu programu wieloletniego pt. Poprawa bezpieczeństwa i warunków pracy w latach 2011-2013 dofinansowywanego w zakresie badań naukowych i prac rozwojowych ze środków Ministerstwa Nauki i Szkolnictwa Wyższego. Koordynator programu: Centralny Instytut Ochrony Pracy Państwowy Instytut Badawczy. LITERATURA [1] Podgórski D.: The use of tacit knowledge in occupational safety and health management systems, JOSE 16 (2010). [2] Winkler T. et all Knowledge management in the process of safety formation in underground mining transport, zbiór referatów 33rd Conference of Safety in Mines Research Institutes, GIG 2009. [3] Jankowski J., Grabowski A., Projektowanie wirtualnych środowisk w celu szkolenia pracowników w zakresie prac szczególnie niebezpiecznych, Mechanik, 07/2012, 281-287 (2012). [4] Gallagher A., Cates C.: Virtual reality training for the operating room and cardiac catheterisation laboratory, The Lancet 364, 1538-1540 (2004). [5] Tichon J., Burgess-Limerick R.: A review of virtual reality as a medium for safety related training in mining, Journal of Health and Safety, Research and Practice 3, 33-40 (2011). [6] Bakera R., D Mello S., Rodrigo M., Graesser A.: Better to be frustrated than bored: The incidence, persistence, and impact of learners cognitive affective states during interactions with three different computer-based learning environments, Int. J. Human- Computer Studies 68, 223-241 (2010). [7] Ragan E., Sowndararajan A., Kopper R., Bowman D.: The Effects of Higher Levels of Immersion on Procedure Memorization Performance and Implications for Educational Virtual Environments, Presence 19, 527-543 (2010). [8] Pakura A.: Wpływ przygotowania zawodowego na bezpieczeństwo pracowników o stażu pracy poniżej trzech lat, Wybrane Problemy Inżynierskie 2, 299-304, (2011). [9] Grabowski A.: Zwiększenie realizmu symulacji w środowisku wirtualnym dzięki wykorzystaniu zmysłu dotyku, Mechanik, 07/2012, 251-258 (2012). [10] Budziszewski P.: Wykorzystanie rzeczywistości wirtualnej do rehabilitacji kończyn górnych, Mechanik 07/2011, s. 65-72. [11] Budziszewski P., Grabowski A., Milanowicz M., Jankowski J., and Dźwiarek M.: Designing a workplace for workers with motion disability with computer simulation and virtual reality techniques, Int J Disabil Hum Dev 10(4) (2011), http://www.referenceglobal.com/doi/abs/10.1515/ijdhd.2011.054. [12] Budziszewski P., Kędzior K.: Reakcja kierowcy w chwili poprzedzającej wypadek badania z wykorzystaniem symulatora jazdy samochodem, Mechanik [CD-ROM] 2013;7:273-280. 201
[13] Jankowski J.: Stanowisko do badań nad możliwością wykorzystania technik rzeczywistości wirtualnej do teleoperacji robota mobilnego, Mechanik [CD-ROM] 2012;7:273-280. [14] Grabowski A., Jankowski J., Dźwiarek M., Kosiński R.: Stereovision Safety System for Identifying Workers Presence: Results of Tests, International Journal of Occupational Safety and Ergonomics 20, 3-9 (2014). [15] Bach C., Scapin D.: Comparing Inspections and User Testing for the Evaluation of Virtual Environments, Intl. Journal of Human Computer Interaction, 26(8), 786-824 (2010). 202