POLITECHNIKA WROCŁAWSKA WYDZIAŁ ELEKTRONIKI PRACA DYPLOMOWA MAGISTERSKA

Transkrypt

1 POLITECHNIKA WROCŁAWSKA WYDZIAŁ ELEKTRONIKI Kierunek: EiT Specjalność: EZI PRACA DYPLOMOWA MAGISTERSKA Komputerowe metody modelowania emocji twarzy ludzkiej Computer methods of a human face emotions modelling AUTOR: Marcin Karpeta PROWADZĄCY PRACĘ: dr Oleksandr Klosov, INSTYTUT INFORMATYKI, AUTOMATYKI I ROBOTYKI OCENA: WROCŁAW, 2011

2 Spis treści 1. Wstęp 3 2. Podstawy teoretyczne generowania twarzy ludzkiej Anatomia twarzy Kości Mięśnie głowy Proporcje Emocje twarzy Psychologia a emocje Systemy formalnego zapisu emocji Podstawy komputerowej animacji twarzy w kontekście generowania emocji Krótka historia animacji twarzy Techniki animacji twarzy Interpolacja Technika facial rigging Animacja wydajnościowa Pseudomięśniowe modele Modele mięśniowe Podejście parametryczne Projekt własnej aplikacji komputerowej Model twarzy Model mięśniowy Komputerowe metody modelowania emocji twarzy ludzkiej 1

3 SPIS TREŚCI Wybór mięśni Mięśnie okrężne Obszary interferencji mięśni Emocje twarzy Dobieranie wartości parametrów Algorytm sekwencyjnego opisu emocji Emocje w programie EmotionModeller Opis systemu EmotionModeller Pliki wejściowe Budowa systemu Interfejs użytkownika Fragmenty implementacji systemu Sekwencyjny opis emocji Deformacja modelu za pomocą warstwy mięśniowej Obrót żuchwy Podsumowanie Bibliografia Spis rysunków Spis tabel 77 Komputerowe metody modelowania emocji twarzy ludzkiej 2

4 1. Wstęp Niniejsza praca opisuje przegląd technik animacji twarzy, w odniesieniu do emocji. Przeglądu dokonano pod kątem deformacji modelu w czasie rzeczywistym. Opisane zostały różne podejścia do modelowania, systemy formalnego opisu emocji oraz ruchów mięśni twarzy. Celem pracy było zbadanie możliwości modelowania emocji twarzy ludzkiej oraz dostarczenie zestawu parametrów pozwalających na opis emocji i sterowanie takim modelem. Zbudowano zestaw, w którym zastosowano nowatorską metodę sekwencyjnego opisu emocji umożliwiającą zapisywanie emocji jako wyniku sekwencji stanów przejściowych. Praktycznym celem pracy było zbudowanie systemu komputerowego pozwalającego na sterowanie emocjami twarzy modelu 3D w czasie rzeczywistym. W aplikacji zaimplementowano rozwiązania oparte o system opisu FACS oraz mechanikę modelu mięśniowego wykorzystywaną powszechnie przy animacji twarzy. Model mięśniowy został rozbudowany o dodatkowe mięśnie, pozwalające na lepsze sterowanie ustami. Przy jednoczesnym podejściu parametrycznym opisany model daje realistyczne efekty w czasie rzeczywistym oraz może być łatwo zaadaptowany do szerokiej gamy zastosowań. Komputerowe metody modelowania emocji twarzy ludzkiej 3

5 2. Podstawy teoretyczne generowania twarzy ludzkiej 2.1. Anatomia twarzy Trudno podejść do zagadnienia animowania twarzy bez odpowiedniej wiedzy teoretycznej dotyczącej samej jej anatomii. Zagadnienie to jest bardzo złożone i skomplikowane z punktu medycznego, co w oczywisty sposób przekłada się bezpośrednio na trudności w modelowaniu i animacji. Książek i publikacji opisujących budowę anatomiczną głowy i twarzy ludzkiej jest wiele, a informacje zawarte w tej publikacji mają jedynie dać podstawy do zrozumienia poruszanych dalej zagadnień oraz pokazać skalę potencjalnych problemów, z którymi należy się przy modelowaniu twarzy zmierzyć, a w dalszej części propozycje ich rozwiązania. Znajomość anatomii jest niezbędna do sprawnego modelowania twarzy i głowy, gdyż poprawnie zamodelowana głowa wraz ze wszystkimi elementami charakterystycznymi (jak umiejscowienie nosa, oczu czy ust) warunkuje realizm modelu. W celu głębszej analizy należy zajrzeć do źródeł [51, 50, 38] Kości Podstawową warstwą nadającą kształt twarzy jest część szkieletu kostnego zwanego czaszką. Z medycznego punktu widzenia, ma głównie za zadanie chronić mózg przed uszkodzeniami oraz częściowo zapewnia ochronę początku układu pokarmowego i rozdrobnienie pokarmu. Jednak dla animacji ma znaczenie jako podstawa na której mocowane są mięśnie oraz skóra twarzy. Czaszka składa się z 29 kości i dzieli się na dwie główne części: mózgoczaszkę i trzewioczaszkę (odpowiednio w stosunku 2/3 i 1/3). Mózgoczaszka (zwana również czaszką mózgową) jak sama nazwa wskazuje ma za zadanie chronić mózg. Determinuje kształt całej głowy, wygląd części czołowej twarzy oraz Komputerowe metody modelowania emocji twarzy ludzkiej 4

6 2.1. ANATOMIA TWARZY po części umiejscowienie uszu. Od strony modelowania 3D ważne jest tylko zachowanie należytych proporcji względem czaszki twarzowej, czyli trzewioczaszki. Jedynym elementem charakterystycznym głowy, który należy do mózgoczaszki jest skroń. Od kształtu skroni zależy poniekąd wyraz twarzy, tzn. im bardziej wyrazista, tym bardziej złowrogi wydaje się przekaz samej twarzy. Trzewioczaszka (zwana również czaszką twarzową) zawiera najwięcej elementów charakterystycznych twarzy, choć skupia zaledwie 1/3 całej głowy. Na trzewioczaszkę składa się sześć kości parzystych (choć nie jednakowych) oraz dwie symetryczne kości pojedyncze. Ze wszystkich kości czaszki twarzowej najciekawszą z punktu widzenia modelowania jest żuchwa, która jest jedyną niezależną kością twarzy. Otulona mięśniami, które łączą ją z pozostałą częścią czaszki pozostaje mocno niezależna i pozwala ruszać się praktycznie w dowolnym kierunku (w różnym stopniu). Dokładne zamodelowanie kości nie jest jednak w większości modeli aż tak potrzebne. Korzysta się z wielu uproszczeń, ponieważ niedociągnięcia modelowania samych kości można skorygować kolejnymi warstwami, które nadbudowują szkielet kostny. Trzeba jednak pamiętać o różnicach wynikających z płci modelowanego osobnika. Kobiety mają z reguły twarz bardziej pociągłą niż mężczyźni oraz bardziej ostre jej rysy Mięśnie głowy Najważniejszą częścią modelu głowy, a co za tym idzie i twarzy, jest warstwa mięśniowa. W anatomicznym modelu znajdziemy ponad 24 mięśnie (zależnie od źródeł), które dodatkowo są w większości symetrycznie rozłożone. Mięśnie te są szczególne, ponieważ większość z nich poza zaczepieniem do szkieletu kostnego jest zaczepiona również bezpośrednio do skóry (lub tylko i wyłącznie). Pozwala to dokładnie poruszać samą warstwą skórną i modelować mimikę (tzw. mięśnie mimiczne twarzy), a co za tym idzie wyrażać emocje. Mięśnie zbudowane są z włókien o średnicy µm posiadających zdolność do aktywnego kurczenia się. Włókna mięśniowe łączą się w pęczki, na których końcach znajdują się tzw. przyczepy. Wyróżnia się przyczep początkowy (łac. origio), który jest zwykle Komputerowe metody modelowania emocji twarzy ludzkiej 5

7 2.1. ANATOMIA TWARZY statycznym punktem mięśnia, oraz przyczep końcowy (łac. insertio), będący punktem ruchomym. Podczas skurczu przyczepy łączące mięsień z kością bądź wewnętrzną stroną skóry zbliżają się do siebie. Mięśnie głowy dzielą się na 3 grupy: mięśnie mimiczne (wyrazowe), mięśnie żuchwy oraz mięśnie związane z przewodem pokarmowym i narządami zmysłów (poruszające językiem czy uszami). Z punktu widzenia sposobu wyrażania emocji ostatnia grupa nie jest aż tak istotna, została więc pominięta w niniejszej pracy. Ze względu natomiast na strukturę i kształt można wydzielić inne 3 grupy: Poprzeczne/liniowe mięśnie podłużne, działające na zasadzie sprężyny (wzdłużnie, np. Zygomatic major), Okrężne/eliptyczne mięśnie mające przebieg okrężny, ułożone dookoła otworu (np. Orbicularis oris mięsień okrężny ust), Płatowe/płaskie tworzące szeroki płat złożony niejako z wielu mięśni poprzecznych, o wielu przyczepach na całej długości krawędzi (np. Frontalis). Poniżej znajduje się lista wybranych mięśni biorących udział w wyrażaniu emocji według podziału anatomicznego. Opis każdego z mięśni podaje jego orientacyjne położenie oraz opisuje akcję wykonywaną podczas skurczu. Podział ten jest powierzchowny i nie obejmuje wszystkich mięśni głowy i twarzy, a jedynie niektóre istotne z punktu widzenia tematu niniejszej pracy. W celu bardziej szczegółowej analizy należy zajrzeć do źródeł [51, 50, 38]. Mięśnie okolicy oka Orbicularis oculi włókna tego mięśnia otaczają całe oko. Zaczynają się przy nosie, a następnie biegną dookoła otworu ocznego i kończą znów przy kości nosa. Mięsień okrężny oka zwiera się do środka i odpowiedzialny jest za jego ochronę. Otwiera i zamyka powieki, aby nadmierna ilość światła nie przedostawała się do środka. Mięsień ten działa samodzielnie powodując akcję zamknij/otwórz oko. Dodatkowo za jego pomocą można Komputerowe metody modelowania emocji twarzy ludzkiej 6

8 2.1. ANATOMIA TWARZY Rysunek 2.1: Mięśnie twarzy warstwa pierwsza [50] podnosić nieco policzek oraz ściągać czoło w dół. Powoduje to powstawanie zmarszczek oraz pełni ogromną rolę przy komunikacji niewerbalnej. Corrugator supercilii mały mięsień poprzeczny znajdujący się na wysokości brwi, biegnie nad łukiem brwiowym. Jego działanie nie jest samodzielne, współdziała z mięśniem okrężnym oka (Orbicularis oculi) ściągając skórę czoła do środka i ku dołowi. W wyniku jego działania tworzą się widoczne zmarszczki na czole. Levator palpebrae superioris jest to cienki, mały mięsień biegnący nad gałką oka wewnątrz oczodołu. Odpowiada za podnoszenie i opadanie górnej powieki. Komputerowe metody modelowania emocji twarzy ludzkiej 7

9 2.1. ANATOMIA TWARZY Rysunek 2.2: Mięśnie twarzy warstwa druga [50] Frontalis jest płatowym mięśniem, którego włókna biegną od wysokości czubka głowy pionowo w dół pod skórą czoła, kończąc się przyczepami na wysokości łuku brwiowego. Jego skurcze powodują podnoszenie się brwi oraz powstawanie zmarszczek skóry na czole. Mięśnie nosa Procerus jest to mięsień zamocowany wyłącznie przy skórze. Biegnie on pomiędzy brwiami w górę i miesza się z mięśniem płatu czołowego (Frontalis). W wyniku działania tego mięśnia środkowe części obu brwi ściągane są do siebie. Mięsień ten współdziała z innymi, Komputerowe metody modelowania emocji twarzy ludzkiej 8

10 2.1. ANATOMIA TWARZY np. podczas marszczenia brwi, gdy oślepia nas słońce. Nasalis mięsień znajdujący się po obu stronach nosa. Odpowiada za poruszanie nozdrzami oraz unoszenie całego nosa ku górze. Depressor septi łączy podstawę nosa z górną wargą ust. Współdziała z innymi mięśniami nosa, jego skurcze wspomagają ruch rozszerzania nozdrzy. Levator labii superioris alaeque nasi mięsień odpowiadający za dźwiganie skrzydła nosa oraz wargi górnej. Biegnie po obu stronach wzdłuż nosa. Mięśnie okolicy ust Usta są bardzo dobrze umięśnione. Dzięki dużej ilości mięśni człowiek może ułożyć je w praktycznie dowolny sposób. Mięśnie te ułatwiają mówienie, jedzenie czy wyrażanie emocji twarzy. Od strony modelowej, rzeczywiste zamodelowanie ust jest zadaniem skomplikowanym. Rysunek 2.3: Mięśnie ust [50] Komputerowe metody modelowania emocji twarzy ludzkiej 9

11 2.1. ANATOMIA TWARZY Orbicularis oris mięsień okrężny ust. Składa się z wielu włókien mięśniowych położonych dookoła ust (tuż za wargami) i przeplatających się z innymi mięśniami. Nie ma przyczepów kostnych, jedynie skórne. Jego ruchy wspomagane są 10 innymi mięśniami, dając nieskończone możliwości formowania ust. Wspomaga komunikację werbalną jak i niewerbalną oraz wyrażanie emocji. Odpowiada również za wysuwanie warg do przodu. Buccinator jest to szeroki, płaski i cienki mięsień płatu policzkowego zajmujący większą część policzka i leżący najbliżej warstwy kostnej (w pierwszej warstwie mięśni policzkowych). Biegnie od połączenia żuchwy z czaszką do kącika ust, a dalej wplata się w górną i dolną wargę. Ogranicza on od zewnątrz przedsionek jamy ustnej, jego ruch przyciąga i odpycha od siebie kąciki ust. Levator labii superioris mięsień biegnący po kości policzkowej od dolnej powieki oka do okolic środka górnej wargi ust. Bierze udział w podnoszeniu górnej wargi. Levator labii superioris alaeque nasi biegnie wzdłuż nosa zaraz obok Levator labii superioris, odpowiada za dźwiganie wargi górnej oraz skrzydła nosa. Levator anguli oris leży pod Levator labii superioris. Odpowiada za ruchy kącika ust w górę oraz w poprzek. Risorius tzw. mięsień śmiechowy ust. Jest on jakby przedłużeniem mięśnia szyi platysma i biegnie poprzecznie kierując się do kąta ust. Podczas skurczu poszerza on szparę ust. W wyniku jego działania powstaje czasem w skórze policzka zagłębienie (tzw. dołek śmiechowy ). Depressor anguli oris mięsień obniżający kącik ust, jest wybitnie powierzchowny. Położony jest pomiędzy żuchwą a kątem ust, pociąga kąt ust ku dołowi oraz prostuje bruzdę nosowo-wargową. Bierze udział przy wyrażaniu takich emocji jak smutek, przygnębienie, cierpienie czy niesmak. Depressor labii inferioris początek tego mięśnia znajduje się na dolnym brzegu żuchwy, a koniec w skórze wargi dolnej. Mięsień ten jest przedłużeniem mięśnia szyi (platysma) i częściowo przykryty przez Depressor anguli oris. Odpowiada za obniżenie i uwypuklenie dolnej wargi. Mentalis mały, krótki mięsień położony na bródce. Odpowiada za podnoszenie skóry podbródka (np. podczas picia) oraz współsteruje ruchami dolnej wargi (np. przy mówieniu). Komputerowe metody modelowania emocji twarzy ludzkiej 10

12 2.1. ANATOMIA TWARZY Transversus menti mały mięsień będący często uznawany za przedłużenie mięśnia obniżającego kąt ust (Depressor anguli oris). Pełni rolę pomocniczą przy obniżaniu kąta ust. Zygomatic major najsilniejszy i najbardziej powierzchownie położony mięsień wyrazowy. Jego włókna biegną od policzkowej kości jarzmowej skośnie ku dołowi, kończąc się przy mięśniu Orbicularis i skórze kąta ust. Część jego włókien jest kontynuacją mięśnia Orblicularis oris. Wraz z mięśniem Risorius odpowiada za ruchy kąta ust w górę oraz w poprzek, odsłaniając górne zęby i poszerzając twarz. Bierze udział przy wyrażaniu takich emocji jak radość, śmiech. Zygomatic minor leży pomiędzy mięśniem jarzmowym większym (Zygomatic major), a dźwigaczem wargi górnej (Levator labii superioris). Jest mięśniem pomocniczym, jego skurcz pociąga wargę górną ku górze, pogłębiając bruzdę nosowo-wargową. Mięśnie żuchwy Mięśnie żuchwy to tzw. mięśnie żucia, odpowiedzialne za ruchy żuchwy. Można je podzielić zasadniczo według funkcji jakie pełnią, pozwalając żuchwie na cztery główne ruchy: Podnoszenie (Temporalis, Masseter, Pterygoid medial), Opadanie (Mylohyoid, Platysma, Digastricus, Geniohyoid), Cofanie (Temporalis, Digastricus, Geniohyoid), Wysuwanie (Pterygoid lateral, Pterygoid medial, Masseter). Część z mięśni biorących udział w procesie poruszania żuchwą zaliczana jest do grupy mięśni szyi (Platysma, Digastricus, Geniohyoid), jednak zostały tu uwzględnione z powodu akcji jakie wykonują podczas skurczu (poruszanie żuchwą). Poniżej przedstawiono opis każdego z nich: Temporalis mięsień płatowy, najmocniejszy i największy z tzw. mięśni żucia. Zajmuje on znaczną część powierzchni bocznej głowy. Jego włókna schodzą się promieniście ku dołowi, biorąc początek na przestrzeni od płatu skroniowego do łuku policzkowej kości jarzmowej, schodząc się w ścięgno, które obejmuje żuchwę z obu stron. Ruch tego mięśnia Komputerowe metody modelowania emocji twarzy ludzkiej 11

13 2.1. ANATOMIA TWARZY Rysunek 2.4: Mięśnie poruszające żuchwą [50] można podzielić niejako na dwa ruchy: włókna idące pionowo w dół od skroni odpowiadają za przyciąganie żuchwy ku górze zaciskając zęby, natomiast część pozioma włókien (bardziej od strony kości policzkowej) odpowiada za cofanie się żuchwy. Mięsień ten, nawet po przyciągnięciu żuchwy do maksymalnej pozycji nie jest całkowicie ściągnięty i posiada jeszcze zapas pozwalający zwiększyć siłę podczas żucia pokarmów. Masseter (tzw. mięsień żwacz) jest to gruby, szeroki mięsień, którego włókna biegną od łuku policzkowej kości jarzmowej bokiem żuchwy pionowo w dół. Jego końcowy przyczep kostny znajduje się na dość dużym obszarze na boczno-tylnej powierzchni kąta Komputerowe metody modelowania emocji twarzy ludzkiej 12

14 2.1. ANATOMIA TWARZY żuchwy. Wraz z innymi mięśniami porusza żuchwą w górę, wysuwa ją i wychyla na boki. Pterygoid medial mięsień gruby, położony od wewnętrznej strony żuchwy. Jego włókna biegną lekkim skosem do dołu w tył: od tylnej części podniebienia, do wewnętrznej strony tylnego kąta żuchwy. Kość żuchwy oddziela go od poprzednio wymienionego mięśnia żwacza (Masseter), jednak jego ścięgno łączy się ze ścięgnem tego mięśnia tworząc silną pętlę mięśniową dookoła gałęzi żuchwy. Współdziałając z innymi dotychczas wymienionymi mięśniami unosi żuchwę ku górze, a działając po jednej stronie wraz z mięśniem Pterygoid lateral obraca ją nieco na zewnątrz w stronę przeciwną. Mylohyoid wyściela całą dolną, wewnętrzną część żuchwy, tworząc niejako jej podłogę, przykrywając przy tym mięsień Digastricus. Odpowiada za podnoszenie języka oraz pomaga przy otwarciu i wychyleniu żuchwy maksymalnie do tyłu. Platysma duży, cienki i szeroki płatowy mięsień szyi, którego włókna mają początek na wysokości środka drugiego żebra i pną się zaraz pod skórą ku górze, otaczają szczękę i kończą się na podbródku. Jego skurcze powodują opadanie szczęki w dół, obniżanie dolnej wargi oraz kąta ust. Digastricus mięsień ten tworzą niejako dwa mięśnie połączone ścięgnem, dlatego można go podzielić na mięsień tylny i przedni. Mięsień tylny (venter posterior) zaczyna się na wewnętrznej kości skroniowej, następnie biegnie ku dołowi do przodu przechodząc w ścięgno, które jest umocowane do kości gnykowej podstawy czaszki. Dalej ścięgno połączone jest z mięśniem przednim (venter anterior), który swój końcowy przyczep ma na wewnętrznej części środka kości trzonowej żuchwy. Całość znajduje się od wewnętrznej strony żuchwy i tworzy wypukły łuk wygięty do dołu. Mięsień ten opuszcza i podnosi żuchwę. Geniohyoid walcowaty mięsień zaczepiony do kolca bródkowego żuchwy, rozciąga się rozbieżnie do tyłu kończąc się przyczepem do kości gnykowej. Bierze udział w opuszczaniu żuchwy ku dołowi i podnoszeniu języka. Pterygoid lateral gruby mięsień dający się podzielić na dwie części. Początkowy przyczep znajduje się w okolicy stawu skroniowo-żuchwowego, a następnie rozdziela się w dwóch kierunkach: ku górze (w kierunku oczodołów) oraz nieco ku dołowi (ku górnemu podniebieniu). Jego skurcz wysuwa żuchwę ku przodowi, a działając jednostronnie przesuwa ją w kierunku przeciwnym do miejsca skurczu. Komputerowe metody modelowania emocji twarzy ludzkiej 13

15 2.1. ANATOMIA TWARZY Skóra Ostatnią, widoczną nawet gołym okiem warstwą, z którą mamy do czynienia jest skóra. Złożoność skóry jest dość duża, jednak można wyróżnić jej trzy główne warstwy: Warstwa naskórka (epidermis) Skóra właściwa (dermis) Tkanka podskórna (hypodermis) Naskórek jest najcieńszą powłoką, złożoną z komórek wielowarstwowego nabłonka. Przeciętnie jego grubość na głowie wynosi od 0.1mm (powieki) do 1mm. Jego faktura jest matowa, o czym należy pamiętać dobierając teksturę i oświetlenie dla modelu. Zaraz pod naskórkiem znajduje się warstwa skóry właściwej. Składa się ona z tkanki łącznej zapewniającej jej elastyczność i sprężystość. Wraz z wiekiem skóra traci swoją elastyczność, przez co w wielu miejscach pojawiają się fałdy tworzące zmarszczki. Należy o tym pamiętać przy tworzeniu realistycznych modeli, gdy uwzględniamy wiek modelowanego osobnika. Skóra właściwa różni się nieco w zależności od rasy człowieka, zwierając różne ilości barwnika. Wyróżniamy trzy rasy ludzkie: białą, żółtą oraz czarną, jednak dodatkowo należy uwzględnić lokalizację, z której pochodzić ma nasz model. Tak więc kolor skóry rasy np. żółtej zawiera szereg odcieni od jasnej do czerwonożółtej. Na dodatek barwa skóry ludzkiej nie jest stała i zmienia swój odcień w zależności od nasłonecznienia. Kolejnym czynnikiem determinującym kolor skóry jest płeć mężczyźni mają z reguły ciemniejszą barwę skóry. Płeć determinuje również grubość poszczególnych warstw. U kobiet grubsza jest warstwa tkanki podskórnej (z powodu większej ilości gromadzonego tłuszczu), a u mężczyzn natomiast grubsza jest warstwa skóry właściwej. Tkanka podskórna będąca najgłębszą warstwą skóry łączy ją z kośćmi. Składa się ona z tkanki łącznej wiotkiej zapewniającej swobodne poruszanie się skóry względem głębszych warstw ciała. Zawiera ona również komórki tłuszczowe, których ilość jest różna w zależności od miejsca pokrycia, płci, rasy oraz wieku osoby. Prawidłowo rozwinięta warstwa tłuszczowa zapewnia elastyczność oraz dobre, równomierne pokrycie ciała skórą. Wraz z wiekiem skóra ciemnieje, oraz w wyniku utraty wody wszystkie jej warstwy stają Komputerowe metody modelowania emocji twarzy ludzkiej 14

16 2.1. ANATOMIA TWARZY się cieńsze i mniej sprężyste. Cienka skóra u osób starszych wiekiem powoduje prześwit przez skórę naczyń krwionośnych oraz żył, które są słabo widoczne u osób młodych. Sprężystość skóry jest chyba największą tajemnicą przy modelowaniu, ponieważ jej właściwości jako materiału nie są do końca zbadane, a wyniki badań nie zawsze są szeroko rozpowszechnione. Dodatkowo, ponieważ skóra nie jest jednolitym materiałem, z matematycznego punktu widzenia modelowanie jej sprężystości jest nie lada wyzwaniem. Trzeba również wziąć pod uwagę fakt, że włókna skóry układają się w różnych kierunkach tak, aby była ona równie napięta na całej powierzchni w czasie spoczynku. Linie tworzone przez włókna pokrywają się w dużym stopniu z liniami, które tworzą włókna mięśni znajdujące się pod skórą, jednak wpływa to znacząco na nierównomiernie rozłożoną właściwość sprężystości tego materiału. Poza tym skóra składa się z trzech warstw co podnosi stopień skomplikowania modelu. Istnieją jednak prace, w których próbowano zgłębiać ten temat [46, 56, 10, 59, 32]. Budowa skóry, jej różnice w zależności od rasy, wieku, miejsca występowania oraz lokalizacji modelowanego osobnika powodują, iż zamodelowanie warstwy skórnej jest dość skomplikowane, dlatego tę warstwę bardzo często się pomija przy modelowaniu nakładając jedynie teksturę Proporcje Ważnym zagadnieniem przy modelowaniu głowy jest zachowanie odpowiednich proporcji pomiędzy poszczególnymi jej elementami. Znajomość relacji pomiędzy charakterystycznymi częściami głowy (i samej twarzy) pozwala uniknąć przerysowań oraz zachować odpowiedni realizm modelu. Dalsze opisy proporcji pomiędzy częściami charakterystycznymi głowy i twarzy uzupełniono odpowiednimi rysunkami (opisane na podstawie [22]). Oglądając czaszkę z profilu można zauważyć, że jest ona rozmieszczona w kwadracie, tzn. jej wysokość (od podbródka do czubka głowy) równa jest jej głębokości (pomiędzy łukiem brwiowym a tyłem głowy). Niezachowanie tej proporcji doprowadza często do wrażenia płytkości modelu. Drugą ważną proporcją jest już wspomniany w dziale właściwy stosunek pomię- Komputerowe metody modelowania emocji twarzy ludzkiej 15

17 2.1. ANATOMIA TWARZY dzy mózgo- a trzewioczaszką (odpowiednio 2/3 i 1/3). Większość cech charakterystycznych twarzy znajduje się w obrębie trzewioczaszki (czyli de facto twarzy), tak więc ważne jest, aby zajmowała ona nie więcej niż 1/3 całości głowy (rysunek 2.5). Rysunek 2.5: Stosunek mózgo- i trzewioczaszki Rozłożenie poszczególnych elementów twarzy również można określić dokładnymi proporcjami. W połowie wysokości czaszki leży środek otworu oczodołowego, czyli środek oka. Oko u dorosłego człowieka ma średnicę ok. 3cm i jest prawie idealną kulą. Odległość pomiędzy oczami wynosi mniej-więcej szerokość jednej gałki ocznej (rysunek 2.7), a wielkość tęczówki to 1/3 szerokości gałki (czyli ok. 1cm). Pomiędzy oczami znajduje się górna część nosa (kość nosowa). Nos ma długość 1/3 wysokości twarzy (nie głowy), co jest równe odległości czubka nosa od podbródka (rysunek 2.6). Nos rozszerza się ku dołowi do szerokości odpowiadającej szerokości gałki ocznej (rysunek 2.7). Na nosie znajduje się garb będący cechą charakterystyczną dla każdej osoby widoczny w mniejszym bądź większym stopniu. Garb ten znajduje się na łączeniu dolnej i górnej części nosa, mniej-więcej w połowie długości nosa. Należy również pamiętać, iż czubek nosa zawsze pozostaje w tym samym miejscu, niezależnie od mimiki twarzy. Pod nosem umiejscowione są usta, których kąty leżą na wysokości wewnętrznych krawędzi tęczówek gałek ocznych (od strony nosa). Usta zajmują górne 2/3 powierzchni Komputerowe metody modelowania emocji twarzy ludzkiej 16

18 2.1. ANATOMIA TWARZY Rysunek 2.6: Podział pionowy twarzy na 3 równe części Rysunek 2.7: Szerokość nosa i oczu twarzy pomiędzy czubkiem nosa a podbródkiem, a linia ust pokrywa się z kątem żuchwy. Należy pamiętać również, iż warga górna i dolna nie leżą w jednej płaszczyźnie pionowej, ale są przesunięte względem siebie tworząc kąt około 8 (górna warga jest wysunięta w przód nad dolną). Ostatnim elementem charakterystycznym głowy są uszy. Odpowiednie umiejscowienie Komputerowe metody modelowania emocji twarzy ludzkiej 17

19 2.1. ANATOMIA TWARZY uszu nadaje realizm modelowi. Patrząc z profilu, uszy znajdują się dokładnie w połowie szerokości czaszki, mniej-więcej zajmując w pionie odcinek długości nosa (rysunek 2.8). Uszy ułożone są pod kątem 15 względem pionowej normalnej środka głowy. Rysunek 2.8: Ucho znajduje się w połowie czaszki, a jego wysokość odpowiada wysokości nosa Powyższe zasady modelowania wynikają bezpośrednio z anatomicznych proporcji głowy. Pozwalają one odpowiednio umiejscowić elementy twarzy, przez co zachować realizm modelu. Komputerowe metody modelowania emocji twarzy ludzkiej 18

20 2.2. EMOCJE TWARZY 2.2. Emocje twarzy O ile powiązanie stanu emocjonalnego z ekspresją twarzy nie budzi u nikogo wątpliwości, o tyle stopień i zależności pomiędzy stanem a emocją na twarzy jest ciągle jeszcze przedmiotem badań. W XIX wieku powszechnie panowało silne przekonanie, iż człowiek nie tyle nie ma nic wspólnego ze zwierzętami, ile jest nadrzędną formą życia, której do zwierząt nie należy przyrównywać. Człowiek jako istota stworzona przez Boga na jego obraz i podobieństwo, będąc czymś wyjątkowym pod każdym względem, był pod szczególną ochroną w ówczesnej mentalności. Również w biologii starano się niektóre rzeczy tłumaczyć boskim pochodzeniem czy boską użytecznością. Nie inaczej było z emocjami twarzy. Wierzono, że różnica pomiędzy człowiekiem, a zwierzęciem jest również na płaszczyźnie wyrażania emocji. Emocje twarzy, miały według ówczesnego zamysłu służyć do modlitwy i wychwalania Stwórcy. Dowodzono również tego na polu naukowym [4]. Z poglądem tym nie zgadzał się Charles Dawrwin, który postanowił zbadać ekspresje twarzy od strony bardziej fizycznej, niż metafizycznej. Darwin był płodnym pisarzem, miał już na koncie opublikowane dzieła stawiające tezę o pochodzeniu ludzi od zwierząt (teoria doboru naturalnego). W swojej książce The Expressions of the Emotions in Man and Animals [12] dowodzi na podstawie własnych obserwacji ekspresji u zwierząt i u ludzi, że ludzie pochodzą od zwierząt. Argumentował on, iż wiele z ekspresji obserwowanych u ludzi ma swoje pierwowzory u zwierząt, jednak w drodze ewolucji niektóre nieco się zmodyfikowały. Na przykład ekspresja złości u ludzi pochodzi od wyrazu warczenia u zwierząt (można zaobserwować wiele cech wspólnych jak mrużenie oczu, zaciskanie zębów i napięcie całej szczęki). Jego obserwacje i badania wyrażanych emocji, dostarczyły solidnych podstaw dla całej rzeszy naukowców podejmujących ten temat w następnych latach. Równolegle do Darwina intensywne badania nad mechaniką emocji twarzy prowadził francuski neurolog Guillaume Duchenne. W 1962 roku wydał on książkę, w której opisał swoje badania [14]. Jest to pierwsza praca dotycząca mechaniki emocji. Duchenne zasłynął również z tego, iż jego prace były jednymi z pierwszych zawierających fotografie. Od 1933 roku prowadził on również badania nad zastosowaniem elektryczności w medycynie. Komputerowe metody modelowania emocji twarzy ludzkiej 19

21 2.2. EMOCJE TWARZY Rysunek 2.9: Ilustracja eksperymentów z pracy Duchenne [14] Ponieważ mięsień jest stymulowany za pomocą impulsu nerwowego (elektrycznego) przychodzącego z mózgu, który pobudza określoną grupę włókien, to impulsy stymulujące mięsień można również symulować za pomocą prądu. Swoje zainteresowanie elektrycz- Komputerowe metody modelowania emocji twarzy ludzkiej 20

22 2.2. EMOCJE TWARZY nością wykorzystał Duchenne przy doświadczeniach z ekspresjami twarzy. Jego badania polegały na pobudzaniu określonych mięśni podłączonymi do prądu elektrodami, a następnie obserwacji deformacji powierzchni twarzy. Dzięki temu, mógł on określić obszary działania poszczególnych mięśni podczas wyrażania emocji. Precyzyjne rozmieszczenie elektrod pozwalało na przebadanie akcji z dokładnością do pojedynczego mięśnia. Metoda z zastosowaniem elektrod posiadała duże możliwości sterowania aktywnością mięśni oraz całym wyrazem twarzy. Dzięki niej Duchenne stworzył katalog fotografii ukazujących stymulację konkretnych wyrazów mimicznych. Dzięki pracom Darwina i Duchenne, wyrażanie emocji twarzy nie było już aż taką zagadką. Stworzyli oni fundament teoretyczny dziedziny modelowania emocji twarzy, bez którego dalszy rozwój na tym polu byłby mocno utrudniony Psychologia a emocje Należy jeszcze wspomnieć o psychologicznej części zagadnienia, gdyż emocje można definiować w różny sposób. W samej psychologii rozróżnia się co najmniej kilka teorii odnośnie emocji twarzy. Jedna z nich (Differential Emotions Theory [27]) zakłada, iż stan emocjonalny jest głównym bodźcem ludzkiego zachowania. Inna, że emocje twarzy mają podłoże funkcjonalne służą osiąganiu określonych celów [2]. Niezależnie od przyczyny oraz funkcji, emocje występują u każdego człowieka. Biorąc dodatkowo pod uwagę badania Darwina, teorię ewolucji oraz odzwierzęce pochodzenie człowieka, najbardziej prawdopodobne wydaje się, że emocje twarzy są w większości przypadków bezpośrednim odzwierciedleniem stanu emocjonalnego osoby (takie podejście stosuje się również przy animacji twarzy). Należy jednak pamiętać, iż nie zawsze musi to być prawdą. Na wyrażanie emocji wpływa wiele czynników zewnętrznych, jak: otoczenie, kultura, wcześniejsze doświadczenia osobnika czy wiek (dowiedziono na przykład, że już dzieci poniżej 1. roku życia potrafią już wyrażać mimikę nie pokrywającą się z ich prawdziwym stanem emocjonalnym), o których należy pamiętać animując emocje modelu konkretnej postaci. Do emocji twarzy zalicza się również niewerbalne elementy wyrażania emocji (np. wo- Komputerowe metody modelowania emocji twarzy ludzkiej 21

23 2.2. EMOCJE TWARZY kalizę), jednak nie są one kluczowym jej elementem. W niniejszej pracy skupiono się jedynie na emocjach twarzy, będącymi gestami mimicznymi odzwierciedlającymi stan emocjonalny, nie zgłębiając psychologicznego podłoża powstawania emocji Systemy formalnego zapisu emocji Po pracach Darwina i Duchenne, dopiero rozwój komputerów przyczynił się do ponownego zainteresowania mechaniką emocji. Prawie sto lat trzeba było czekać, aż pojawią się systemy formalizujące zapis wyrażanych emocji. Systemów takich powstało kilka. Różnią się one dokładnością, zgodnością anatomiczną czy przeznaczeniem. Poniżej opisano najważniejsze z nich. Język mimiczny (mimic language) System ten opisał w 1970 roku jego autor, szwed Carl-Herman Hjortsjö [24]. Jak pisze Frederic Parke w swojej książce Computer Facial Animation [43], była to pierwsza próba naukowego usystematyzowania akcji mimicznych mięśni twarzy. Język mimiczny (ang. mimic language) dostarczony przez Hjortsjö uwzględniał jedynie mięśnie mimiczne, które rozłożone są głównie wokół otworów twarzy (oczy, nozdrza, usta) i mają co najmniej jeden przyczep skórny. Podając za Parkiem, Hjortsjö wyróżnił 23 takie mięśnie, które przedstawia Rysunek Akcje mięśni opisane zostały w rozdziale 2.1 Anatomia twarzy. WTabeli 2.1 znajduje się zestawienie mięśni wraz z podziałem na obszary którymi poruszają (według schematu Hjortsjö podanego przez Parka [43]). Numery z rysunku 2.10 odpowiadają numerom mięśni w tabeli 2.1. Tabela 2.1 przedstawia akcje wywoływane przez mięśnie mimiczne. Symbol * oznacza deformację na danym obszarze wywołaną przez mięsień, o symbolizuje nieznaczną deformację. W języku mimicznym ekspresje twarzy zostały podzielone na 8 grup oznaczonych kolejnymi literami alfabetu (A H). Każda z grup zawiera trzy stopnie opisujące natężenie mimiki (numerowanie jest ciągłe przez wszystkie grupy). Emocje można więc wyrazić za Komputerowe metody modelowania emocji twarzy ludzkiej 22

24 2.2. EMOCJE TWARZY Rysunek 2.10: Klasyfikacja mięśni mimicznych wg Hjortsjö [24] (schemat z [43]) pomocą konkretnych symboli, na przykład grupa F to trzy stopnie natężenia zaskoczenia: F16 zaskoczenie, F17 przerażenie, F18 paniczny strach. Facial Action Coding System (FACS) Język mimiczny stworzony przez Hjortsjö był rzetelnym opisem ekspresji twarzy, jednak był dość ogólny. W 1978 roku został więc rozwinięty w system FACS (Facial Action Coding System [19]). Jest on wynikiem wielu badań, które prowadzili przez lata jego twórcy Paul Ekman i Wallace Friesen [21, 16, 18, 17]. System FACS jest najważ- Komputerowe metody modelowania emocji twarzy ludzkiej 23

25 2.2. EMOCJE TWARZY Tabela 2.1: Wykaz akcji mięśni mimicznych języka mimicznego (przedruk z [43]) Region Brwi Obszar Powieki Obszar Warga Okolice Szczelina Żuchwa i czoło międzybrwiowy policzkowy górna nosa ust dodatkowa lokalizacja czoło nasada nosa górna część pod okiem wargi Mięśnie 1, 2 * * * o o 1 * * * 2 * * 3 * * o 4 * * * 5 * * o 6 * o * * o o 7 * 8 * 9 o * * o 10 * * * 11 * * * * 12 * * * * * 13 * * 14 * 15 * * 16 * * * 17 * * 18, 19 * * 20, 21 * * * * * 22 * * 23 o o * * niejszym z dotychczas wymyślonych systemów (w zasadzie nowe systemy już obecnie nie powstają, a współczesne prace wykorzystują FACS do opisu emocji twarzy, ewentualnie go nieznacznie modyfikując). System FACS dzieli ruchy mimiczne twarzy na tzw. jednostki akcji twarzy (ang. action units, AU). Pozwoliło to opisać każdy ruch mięśni twarzy, deformacje wraz z określonym stopniem intensywności oraz wszystkie dodatkowe elementy wpływające na mimikę twarzy (np. wydęcie ust). Bazując na podejściu Darwina [12], pracy Duchenne [14] oraz wcześniej opisanym systemie języka mimicznego [24], Ekman i Friesen dokładnie przeanalizowali twarz, rozbijając Komputerowe metody modelowania emocji twarzy ludzkiej 24

26 2.2. EMOCJE TWARZY jej ruchy na podstawowe, niepodzielne jednostki. Pierwotna, podstawowa wersja systemu FACS zawiera 46 AU ( action units, jednostki akcji). Każda z jednostek posiada dodatkowo opis intensywności w skali A E. Za pomocą tych jednostek można opisać praktycznie każdy widoczny ruch na twarzy. Ponieważ system jest bardzo dokładny zdarza się, że akcje pokrywają się w szczególnych przypadkach. Przy zastosowaniu kombinacji kilku jednostek istnieje prawdopodobieństwo, że ekspresja daje się opisać kilkoma wariantami. System opisuje takie przypadki dokładnie sugerując jak należy opisać ekspresję w danym kontekście. Jednostki akcji nie odzwierciedlają akcji poszczególnych mięśni, jedynie konkretną deformację twarzy, będącą czasem wynikiem współdziałania kilku pojedynczych mięśni. Twórcom zależało nie tyle na odzwierciedleniu anatomii, co na dostarczeniu systemu, za pomocą którego można maksymalnie dokładnie opisać widoczne ruchy twarzy. Należy wspomnieć, iż system pozwala na opisanie jedynie ruchów, które można dowolnie, w każdej chwili wymusić. Nie opisuje on mimowolnych skurczy czy ruchów mięśni, które nie przekładają się na widoczną deformację twarzy. W naturalnym procesie ewolucji systemu, FACS został wzbogacony o dodatkowe 11 jednostek akcji, pomagających wyrazić ruchy twarzy nie związane wprost z mimiką twarzy (takie jak wysunięcie języka czy wydęcie policzków). Nie są one jednak potrzebne do modelowania emocji twarzy. Przez lata FACS stał się światowym standardem opisu ruchów twarzy, z którego wyprowadzić można dowolną ekspresję. Jest on potężnym narzędziem wspomagającym opis wyrazu twarzy, wykorzystywanym dzisiaj na całym świecie przy opisie ekspresji mimicznych. System ten doczekał się również wielu modyfikacji, w zależności od obszaru jego zastosowania. Najbardziej znane jego odmiany to EMFACS (nieco uproszczony, stosowany do opisu emocji [20]), BabyFACS (stosowany przy badaniach na niemowlętach [39]), oraz ChimpFACS (wykorzystywany do badań mimiki szympansów [53]). FACES Jest to również system oparty na wymiarowaniu emocji twarzy, jednak w odróżnieniu od systemu FACS powstał, aby odpowiadać bardziej opisom wyrażania emocji, niż ogólnemu opisowi ruchów twarzy [34]. W swojej pracy Ann Kring i Denise Sloan [35] dokonały Komputerowe metody modelowania emocji twarzy ludzkiej 25

27 2.2. EMOCJE TWARZY porównania systemów FACS/EMFACS z systemem FACES, z którego wyraźnie widać do jakich obszarów można poszczególne systemy wykorzystać. Przy badaniach psychologicznych, ważniejszy jest całościowy opis emocji, nie tylko w kontekście samej twarzy. Ponadto, system FACES (zalecany przy podejściu bardziej psychologicznym) opisuje natężenie ruchów twarzy również w ujemnej skali, czego samo wymiarowanie twarzy w systemach FACS nie uwzględnia. Natomiast przy podejściu bardziej mechanicznym (animacji, modelowaniu twarzy) zaleca się wykorzystanie systemu wymiarowania FACS, gdyż jest bardziej dokładny oraz pozwala lepiej kreować parametry sterowania modelem. W niniejszej pracy skupiono się na odwzorowaniu emocji, a nie ich badaniu. Przy tworzeniu modelu oparto się więc na systemie FACS. AFFEX, MAX Na potrzeby badań psychologicznych nad teorią DET (wspomnianą w Psychologia a emocje) powstał system AFFEX [29], rozwinięty później w system MAX [28]. System ten jest wynikiem badań nad emocjami twarzy prowadzonych na niemowlętach przez Caroll E. Izard. Jednak ze względu na bardzo słabą dokumentację tego systemu (nieliczne wzmianki w źródłach i pracach autorki), kontrowersje wokół samej dokładności opisów zawartych w systemie [37] oraz różnice pomiędzy ekspresjami twarzy dorosłych a niemowląt (do których badania system ten został stworzony), zastosowanie go do modelowania emocji twarzy jest praktycznie niemożliwe. Komputerowe metody modelowania emocji twarzy ludzkiej 26

28 3. Podstawy komputerowej animacji twarzy w kontekście generowania emocji Informatyka jako dziedzina jest dość młoda, jednak poszczególne jej gałęzie rozwijają się na tyle dynamicznie, że praktycznie każde odkrycie czy nowatorska metoda staje się przestarzała już w momencie publikacji. Tak więc, ciężko byłoby zacząć opis metod animacji bez odniesienia do historii Krótka historia animacji twarzy Pierwsze próby modelowania 3D twarzy ludzkiej sięgają prawie czterdzieści lat wstecz, kiedy to w 1971 roku na Uniwersytecie w Utah student Frederick I. Parke stworzył pierwszy model 3D twarzy. Następnie udoskonalił model, aby w rok później wykorzystać go w swojej pracy dyplomowej przy tworzeniu pierwszej w miarę realistycznej animacji twarzy [41]. Przez kolejne 2 lata Parke pracował nad techniką, która w szybki sposób pozwoliłaby animować model twarzy. W 1974 roku zaprezentował w swojej pracy doktorskiej pierwszy parametryczny model 3D twarzy ludzkiej [42]. Praktycznie aż do roku 1980 w sferze animacji i modelowania 3D twarzy zalegała cisza. Był to czas świetności telewizji oraz telewizyjnych kreskówek, dla których rozwijały się metody animacji 2D. Popularność filmów spowodowała, iż duże wytwórnie dawały pieniądze na rozwój nowych, coraz to lepszych technik animacji 2D (łącznie z animacją twarzy). Jednym z ośrodków prężnie działającym w tej materii w tym czasie był New York Institute of Technology (Cornell University) oraz słynne studio filmowe Hanna- Barbera. W roku 1980 Stephen Platt [46] opisał w swojej pracy dyplomowej pierwszy model służący do wyrażania ekspresji twarzy, oparty na fizycznym modelu mięśniowym. W 1987 Komputerowe metody modelowania emocji twarzy ludzkiej 27

29 3.1. KRÓTKA HISTORIA ANIMACJI TWARZY roku Keith Waters opublikował pracę opisującą inne podejście do animacji twarzy oparte na modelu mięśniowym (jego model pozwalał na generowanie wielu stanów mimicznych twarzy za pomocą podskórnej warstwy mięśniowej). Rozwój technologii laserowej sprawił, iż na początku lat 90. pojawiły się optyczne skanery laserowe, pozwalające skanować powierzchnie trójwymiarowe. Dostarczyło to danych do badań nad animacją i modelowaniem twarzy, pozwalając w prosty sposób operować na ogromnej ilości tych danych. Pomijając proces tworzenia modelu 3D naukowcy mieli czas skupić się na samej animacji modeli. Dzięki danym pochodzącym ze skanerów 3D m.in. Volker Blanz i Thomas Vetter stworzyli w 1999 roku szczegółowy model twarzy dający się łatwo przekształcać [5] (model antropometryczny). Mogli oni wykorzystując swój uniwersalny model stworzyć po kilku jego translacjach dowolny inny zawierający ten sam stopień szczegółowości (np. przekształcić go zmieniając mu parametr rasy ludzkiej, wieku czy płci). Dalsze ich badania pozwoliły im stworzyć system, który ekstrahując ze zdjęcia 2D potrzebne informacje potrafi dopasować odpowiedni model 3D do zdjęcia oraz nałożyć mu teksturę otrzymując model 3D twarzy ze zdjęcia 2D [5, 26]. Następnie otrzymany model można w dowolny sposób animować otrzymujemy więc wirtualny obraz 3D z dowolną mimiką. W 2004 roku grupa chińskich naukowców z Politechniki w Beijing również opublikowała pracę na temat tworzenia modelu 3D twarzy do animowania mimiki, jednak z szerszym zamodelowaniem warstw biomechanicznych oraz tkanki skóry niż wspomniany Blanz [58]. Podobną pracę opublikowano również na tym samym uniwersytecie rok później [25]. W ciągu kilkunastu ostatnich lat bardzo popularne stały się filmy 3D, co znacząco wpłynęło na rozwój animacji twarzy (pomimo iż techniki animacji stosowane w filmach należą do dość prostych i prymitywnych). Przemysł gier komputerowych i konsolowych przy dzisiejszych możliwościach sprzętowych również kładzie coraz większy nacisk na realizm i detale animacji twarzy. Również w medycynie prowadzi się liczne badania nad symulacją tkanki skóry, które idą w kierunku tworzenia systemów do przeprowadzania wirtualnych operacji chirurgicznych [44, 31]. Można więc powiedzieć, iż modelowanie emocji i animacja twarzy będą nadal się rozwijać. Szereg zastosowań (film, medycyna, gry, komunikacja wirtualna, wirtualne postacie wspomagające urządzenia) czyni tę gałąź jeszcze bardziej interesującą. Komputerowe metody modelowania emocji twarzy ludzkiej 28

30 3.2. TECHNIKI ANIMACJI TWARZY 3.2. Techniki animacji twarzy W zależności od przeznaczenia animacji, wymaganych detali oraz określonego stopnia realizmu efekt końcowy można osiągnąć różnymi metodami. Istnieją techniki, które pozwalają osiągnąć wyraz twarzy za pomocą dynamicznego mapowania tekstur na modelu. Nie modyfikują one topologii powierzchni modelu, przez co dają bardzo mało realistyczny efekt. Dlatego w niniejszej pracy skupiono się jedynie na technikach deformacji modeli 3D twarzy. Ilość technik jakimi można animować modele 3D jest dość spora, jednak można wydzielić 5 głównych: Interpolacja Facial rigging Performance-based Pseudo-mięśniowe (pseudo-muscle based) Mięśniowe (muscle based) Zadanie każdej z powyższych technik jest takie samo manipulacja powierzchnią twarzy na przestrzeni odcinka czasu tak, aby twarz przybierała określoną mimikę w konkretnych klatkach animacyjnej sekwencji. Poniżej opisano po krótce każdą z technik Interpolacja Interpolacja (ang. intepolation) jest najstarszą techniką animacji. Opiera się ona na technice Key framing, wywodzącej się z animacji 2D. Key framing polega na ustaleniu początkowego oraz końcowego stanu obiektu (np. położenia) i umieszczenia go w określonych klatkach animacji (ang. frames). Zmiana stanu obiektu pomiędzy klatkami kluczowymi (początkową i końcową) jest wyliczana jako różnica pomiędzy położeniem początkowym a końcowym, proporcjonalnie do ilości klatek. Komputerowe metody modelowania emocji twarzy ludzkiej 29

31 3.2. TECHNIKI ANIMACJI TWARZY Metoda interpolacyjna w swojej podstawowej formie również opiera się na tym mechanizmie. Pomiędzy początkowym (p 1 ) a końcowym (p 2 ) stanem obiektu wyliczane są stany pośrednie (p), co matematycznie można przedstawić wzorem: p = α p 2 + (1.0 α) p 1 (3.1) gdzie α jest współczynnikiem interpolacyjnym przyjmującym wartości z przedziału {0, 1} i może być wyliczany w różny sposób. Dla przypadku najprostszego, można wyliczyć go tak, jak dla metody key framing liniowo ze wzoru: α = 1.0 liczba klatek (3.2) Dla przykładu: jeśli przyjmiemy, że pomiędzy startową i końcową klatką jest 8 klatek (czyli de facto 10 klatek animacji licząc z początkową i końcową), dla których musimy wyliczyć stany pośrednie, wtedy można przyjąć współczynnik α = 1.0/10 = 0.1. Analogicznie sprawa wygląda dla interpolacji w 3D: dla obiektu złożonego z wielu punktów o trzech współrzędnych, należy dla każdego punktu powierzchni wyliczyć jego pozycję pośrednią. Oczywiście pośrednie stany nie muszą być liniowe, tak więc współczynnik α może być funkcją zmienną w czasie. Nieliniowość stanów pośrednich można również uzyskać poprzez opisywanie powierzchni twarzy nie poprzez zwykłe prymitywy, ale za pomocą całych powierzchni (B-splines, beta-splines, Nurbs) [3, 13]. Wtedy, wykorzystując punkty kontrolne przesuwane liniowo, powierzchnie pomiędzy punktami kontrolnymi przekształcane są nieliniowo tworząc efekt nieliniowo zmieniającej się powierzchni modelu. Inną techniką opartą jedynie o interpolację jest tzw. key-pose, czyli tworzenie całych powierzchni stanów końcowych. Tworzy się więc całą twarz z określoną mimiką ( pozę ) dla każdej ekspresji, a następnie za pomocą interpolacji wylicza się stany pośrednie przy animacji jednej pozy w drugą. Przy wykorzystaniu kilku poz o różnych wyrazach twarzy, możliwe jest interpolowanie w kilku wymiarach. Na przykład przy 4 znanych pozach mimicznych, można użyć dwóch współczynników przy interpolacji, które będą mieszanką czterech poz kluczowych. Mając do dyspozycji 2 4 poz można wyekstrahować 4 parametry interpolacji. Widać więc, że zależność pomiędzy ilością parametrów interpolacji, a ilością poz kluczowych ma się następująco: dla n parametrów interpolacji, znana musi być 2 n Komputerowe metody modelowania emocji twarzy ludzkiej 30

32 3.2. TECHNIKI ANIMACJI TWARZY liczba stanów twarzy z pozami mimicznymi. Choć interpolacja w większej ilości wymiarów jest możliwa, to jednak coraz większa liczba współczynników zamazuje jej czytelność. Wraz ze wzrostem ilości wymiarów spada intuicyjność metody, dlatego jest ona bardzo rzadko wykorzystywana. Sama interpolacja jest szeroko wykorzystywana w przemyśle gier komputerowych oraz filmów, gdzie wszelkie obliczenia można przeprowadzić wcześniej, a następnie puścić już gotową animację z wyliczonymi wartościami pośrednimi. Jest to metoda pochłaniająca sporą ilość mocy obliczeniowej (wyobraźmy sobie model z milionem punktów, które w czasie rzeczywistym mają wyliczane położenia pośrednie), dlatego nie jest techniką uniwersalną. Natomiast wszystkie inne techniki (opisywane również w tym rozdziale) wykorzystują w mniejszym, bądź większym stopniu tę metodę. Dodatkowym problemem przy interpolacji jest ilość danych, którą musimy gromadzić. Dla każdej pozy pośredniej należy przechowywać komplet informacji, kompletny model twarzy z określoną ekspresją. Okazuje się więc, że przy n pozach posiadamy twarz w n kopiach. Dodatkowo dla każdego indywidualnego modelu twarzy musimy przechowywać jego mimikę osobno, czyli przy przetwarzaniu 4 postaci z różnymi twarzami, mamy 4 zestawy ze skopiowanymi pozami mimicznymi dla każdego z nich. Jak się więc okazuje, technika ta jest łatwa do zastosowania jedynie przy prostych, jednomodelowych animacjach z małą ilością ekspresji twarzy Technika facial rigging Technika facial rigging powstała, aby ułatwić pracę animatorom. Zadaniem animatora jest umieszczenie punktów kontrolnych oraz zarządzanie parametrami kontrolnymi w taki sposób, aby określone dane wejściowe zostały zamienione w konkretne akcje podczas animacji. Ilość narzędzi wspomagających pracę animatora jest dzisiaj dość spora. Jedną z pierwszych prac, opisujących połączenie interaktywnych urządzeń wejściowych z parametrami kontrolnymi animacji jest praca opisująca system stworzony przez duet Hanrahan-Sturman [23]. W systemie tym animator łączy określone dane wejściowe z konkretnymi wartościami parametrów kontrolnych, które zapewniają konkretną akcję podczas Komputerowe metody modelowania emocji twarzy ludzkiej 31

33 3.2. TECHNIKI ANIMACJI TWARZY animacji. Jest to tzw. parametryzowanie modelu, które pozwala oddzielić warstwę programową od animacyjnej (więcej o podejściu parametrycznym w rozdziale 3.3 Podejście parametryczne). Facial rigging wykorzystuje zależności pomiędzy punktami kontrolnymi na twarzy. Zadaniem animatora jest połączenie różnych punktów ze sobą tak, aby podczas ruchu jednego, wszystkie powiązane z nim również zmieniały swoje położenie w określony sposób. Tworzą się więc całe obszary poruszane jedynie za pomocą kilku punktów kontrolnych jest to bardzo wygodne podejście. Powiązania pomiędzy punktami mogą być opisane w różny sposób. Najczęściej wykorzystywanymi odmianami są tzw. połączenia przegubowe (articulated joints) oraz wykorzystanie klastrów (ang. clusters) i funkcji. Połączenia przegubowe Podstawą techniki połączeń przegubowych (ang. articulated joints) jest hierarchiczna sieć powiązań pomiędzy dwoma elementami (np. mięśniami, kośćmi bądź obszarami szkieletu), która gwarantuje poruszanie się obu połączonych elementów naraz pod określonym kątem. Kąt pomiędzy elementami zostaje zachowany podczas ruchu. Na przykład przy połączeniu górnej powieki z brwią, opuszczenie powieki w dół przy zamykaniu oka, spowoduje również obniżenie się brwi (ale przy zachowaniu kąta pomiędzy brwią a powieką brew pochyli się więc podczas ruchu). Następnie można również połączyć np. brew ze skórą czoła. Powstanie tzw. połączenie przegubowe (powieka-brew-czoło), które przy określonych kątach i wagach każdego połączenia będzie poruszać dość realnym ruchem całą górną częścią oka przy jego otwieraniu/zamykaniu. Oczywiście połączeń może być jeszcze więcej, co stworzy siatkę połączeń poruszającą całym obszarem. Stosując tę technikę można łatwo grupować całe obszary, które mogą na siebie nachodzić w celu zachowania płynności ruchu podczas animacji. Klastry Klastry (ang. clusters) są to obszary punktów powiązane z konkretnym rodzajem przekształcenia (skalowanie, obrót, translacja lub kombinacja tychże). Na siatce wielokątów tworzony jest obszar kilku/kilkunastu/kilkudziesięciu punktów, z których każdy otrzymu- Komputerowe metody modelowania emocji twarzy ludzkiej 32

34 3.2. TECHNIKI ANIMACJI TWARZY je określoną wagę. Największą dostają punkty centrum ruchu, coraz mniejsze punkty na obrzeżach. Nadanie odpowiednich wag warunkuje realizm przekształcanego obszaru. Należy również pamiętać, aby dobrać odpowiedni rozmiar klastra. Zbyt duży nie będzie zapewniał odpowiedniej szczegółowości oraz powodował nadmiar zbędnych obliczeń, a zbyt mały da małorealistyczny efekt. Funkcje Wykorzystanie funkcji przy technice facial rigging jest jej uzupełnieniem. Funkcje służą do łączenia ze sobą obszarów (np. przy klastrach łączą obszary z różnych przekształceń), aby można było łatwiej poruszać danym elementem. Pomaga to zbliżyć się bardziej do koncepcji parametrycznego modelowania, która to pozwala na sterowanie animacją twarzy od strony użytkowej, za pomocą stosunkowo niewielkiej liczby parametrów kontrolnych (więcej w części 3.3 Podejście parametryczne) Animacja wydajnościowa Najbardziej żmudnym zajęciem jest wyznaczanie punktów kontrolnych oraz dopasowywanie dla nich parametrów kontrolnych. Aby przyspieszyć ten proces, można wykorzystać jedną z tzw. technik animacji wydajnościowych (ang. performance-based animation). Ideą jest przechwycenie punktów kontrolnych (markerów) z rzeczywistej twarzy aktora/modela oraz ich digitalizacja na modelu cyfrowym, czyli mapowanie ekspresji (expression mapping, czy inaczej zwane mapowaniem ruchu motion capture). Najstarszą techniką wykorzystywaną do tego celu jest fotograficzna technika digitalizacji (photographic digitizing technique), wykorzystana przy produkcji filmu Tony de Peltrie w 1985 roku [40]. Na twarzy aktora została namalowana siatka z wielokątami, odzwierciedlająca wielokąty modelu cyfrowego. Następnie konkretnym punktom siatki cyfrowej postaci zostały dopasowane odpowiednie punkty twarzy aktora (połączenia unikalne, 1:1). Każda z ekspresji została sfotografowana z różnych ujęć, a następnie zmiany w położeniu punktów na twarzy aktora zostały obliczone względem stanu neutralnego za pomocą specjalnych algorytmów. Wyliczona różnica położenia punktów pomiędzy stanem neu- Komputerowe metody modelowania emocji twarzy ludzkiej 33

35 3.2. TECHNIKI ANIMACJI TWARZY tralnym, a konkretną mimiką twarzy została przeniesiona na model cyfrowy. Do nowych współrzędnych punktów w modelu cyfrowym została jeszcze dodana różnica, wynikająca z różnic pomiędzy modelem aktora a cyfrową postacią (kształt twarzy modelu nie musi się pokrywać z kształtem rzeczywistej twarzy aktora). Innym sposobem na pozyskiwanie danych cyfrowych do animacji było użycie skanera laserowego. Barbara Robertson [48] w swoim artykule opisuje wykorzystanie lasera przy produkcji systemu do poruszania wirtualną twarzą. Zastępował on aparat fotograficzny wykorzystany w metodzie opisanej poprzednio. Skany 3D twarzy aktora przechwytywane były w locie oraz stosując metodę interpolacji przeliczano współrzędne w czasie rzeczywistym nakładając je na model cyfrowy. Wykorzystanie żywej osoby, aktora, do kontrolowania cyfrową twarzą w czasie rzeczywistym jest zagadnieniem rozwijanym od czasów wspomnianego filmu Tony de Paltrie. Po dzień dzisiejszy zostało opisane wiele rodzajów podejścia performance-based. Technika przechwytywania ruchów (motion capture), leżąca u podstawy animacji opartej na preformance-based jest idealnym narzędziem do wstępnego przygotowania animacji. Należy jedynie pamiętać o czystości ruchów aktora tak, aby nie zakłócały one jego przekazu. Ponieważ nie jest to do końca możliwe (szczególnie przy skomplikowanych i szybko zmieniających się ekspresjach twarzy), w następnym kroku konieczna jest korekta przechwyconego materiału tak, aby uzyskać czysty i realistyczny przekaz. Pomimo, iż mapowanie narażone jest na liczne przekłamania podczas całego procesu (należy korygować dopasowanie punktów aktor-model, tzw. re-targeting), to ponieważ znacznie przyspiesza ona proces tworzenia animacji, jest szeroko wykorzystywana przy produkcji gier komputerowych oraz filmów (nie ograniczając się jedynie do obszaru twarzy). Pozwala również na szybką digitalizację każdej postaci rzeczywistej oraz jej animację. Problemem może być jedynie operowanie na ogromnej ilości danych w czasie rzeczywistym przy przechwytywaniu ruchów twarzy, oraz skomplikowane obliczenia na otrzymanym materiale pozwalające przekształcić dalej konkretne punkty modelu cyfrowego, jednak w dobie dzisiejszych możliwości technicznych oraz technologicznych, problem ten praktycznie nie istnieje. Obecnie mapowanie ekspresji czy ruchu odbywa się za pomocą specjalnych urządzeń (pasów, kamizelek, rękawic, itp) [45], a metody oparte o zdjęcia czy kamery powoli odchodzą do lamusa. Wymienione powyżej techniki mapowania to jedynie wierzchołek gó- Komputerowe metody modelowania emocji twarzy ludzkiej 34

36 3.2. TECHNIKI ANIMACJI TWARZY ry lodowej (technik tych jest więcej) mają jedynie ukazać kierunek rozwoju techniki performance-based, ponieważ sama idea metody ukazana na początku rozdziału pozostała niezmieniona. Inne zastosowanie techniki performance-based Skoro za pomocą technik performance-based można sterować modelem cyfrowym bezpośrednio z poziomu żywego aktora pojawia się pytanie, czy dałoby się wykorzystać je do sterowania modelem na odległość. Pomysł systemu do wideokonferencji opartego na wirtualnych modelach zamiast rzeczywistego strumienia został przedstawiony m.in. w pracy zbiorowej pt. High-Presence, Low-Bandwidth, Apparent 3D Video-conferencing With A Single Camera [6] oraz publikacji Petera Eisert a [15]. Ideą jest obróbka obrazu przechwytywanego z kamery po stronie klienta (tak, aby można było uzyskać wartości poszczególnych elementów charakterystycznych twarzy ich zmiany), a następnie przesłanie do drugiego klienta samych zmienionych danych oraz odtworzenie ich na wirtualnym modelu 3D. Pozwala to na przesyłanie stosunkowo małej ilości danych (jedynie te, które określają realne zmiany w modelu). O ile metoda performance-based daje się zastosować przy produkcji animacji nie wymagającej czasu rzeczywistego (bądź na prawdę prostych animacji czasu rzeczywistego), to wykorzystanie jej do wideo konferencji jest jeszcze niemożliwe. Niestety pozostaje jeszcze ciągle wiele problemów (natury dużej szczegółowości modelu, szybkich zmian w czasie jak szybkie mruganie), ważnych z punktu widzenia realizmu przekazywanych emocji przez model. Niemniej dotychczasowe próby warte są poświęcenia im chwili uwagi, gdyż w przeciągu najbliższych lat trudności te na pewno zostaną pokonane i systemy takie będą powszechnie wykorzystywane Pseudomięśniowe modele Rzeczywisty ruch mimiczny (ekspresja twarzy) jest wypadkową oddziaływania wszystkich warstw anatomicznych głowy. Można też powiedzieć, iż deformacja warstwy skórnej będąca jedyną zewnętrznie widoczną warstwą jest konkretnym odzwierciedleniem emo- Komputerowe metody modelowania emocji twarzy ludzkiej 35

37 3.2. TECHNIKI ANIMACJI TWARZY cji, mimiki twarzy. Pomijając wszystkie podskórne warstwy i skupiając się jedynie na powierzchni twarzy można stworzyć model matematyczny opisujący deformacje jej powierzchni w zależności od wyrażenia mimicznego. Takie modele, w których nie zabiega się o odzwierciedlenie dokładnych warstw anatomicznych, a raczej dostarczenie modelu z kilkoma parametrami kontrolnymi pozwalającymi emulować podstawowe akcje mięśni twarzy, nazywa się modelami pseudo-mięśniowymi. Oczywistym jest, że nie da się opisać deformacji powierzchni twarzy jednym równaniem. Z budowy anatomicznej twarzy (opisanej powierzchownie w rozdziale 2.1 Anatomia twarzy) widać, iż poszczególne obszary twarzy różnią się ilością mięśni, grubością skóry oraz możliwością ruchu. Dlatego też przy animacji metodą pseudomięśniową należy podzielić twarz na poszczególne obszary. Ponieważ ideą metody jest emulowanie podstawowego działania mięśni twarzy, najlepiej podzielić model na obszary odpowiedzialne za pojedyncze akcje. Część modeli pseudomięśniowych opiera się na systemie abstrakcyjnego opisu akcji mięśni (abstract muscle action AMA [36]). System opisu AMA opiera się na próbach empirycznego modelowania, a nie na fizycznych symulacjach. Zawiera on podział na akcje podstawowe powiązane z konkretną akcją mięśniową elementów twarzy. Do każdej akcji AMA przyporządkowana jest procedura z zestawem parametrów pozwalających na kontrolowanie ruchu wierzchołków modelu na określonym obszarze. Poprzez łączenie kilku akcji AMA (z określonymi wartościami parametrów), możliwe jest konstruowanie kompleksowych jednostek mimicznych odpowiadających określonym emocjom. Inną techniką stosowaną do deformacji modelu, stosowaną do emulowania podstawowych akcji mięśniowych w modelach pseudomięśniowych jest tzw. dowolna deformacja formy (freeform deformation FFD [49]). Technika ta wykorzystywana jest głównie do tworzenia skomplikowanych kształtów w aplikacjach do modelowania 3D, jednak z powodzeniem można ją zaadoptować również do animacji. Dowolna bryła (np. modelu cyfrowego twarzy) umieszczana jest w obrębie sześcianu, na który nakładana jest siatka wybranej gęstości (im większa gęstość, tym większa rozdzielczość deformacji). Siatka ta, dzieli bryłę na obszary. Każde przecięcie się linii siatki tworzy punkt kontrolny (im gęstsza siatka, tym więcej punktów kontrolnych) powiązany z odpowiadającym mu obszarem. Punkty te, gdy leżą w obrębie powierzchni sześcianu odpowiadają stanowi spoczynkowemu twarzy Komputerowe metody modelowania emocji twarzy ludzkiej 36

38 3.2. TECHNIKI ANIMACJI TWARZY (bryła modelu jest nienaruszona). Następnie, zmiana położenia dowolnego punktu kontrolnego powoduje deformację bryły znajdującej się wewnątrz sześcianu (tutaj naszego modelu twarzy). Zmieniając położenie punktów kontrolnych jesteśmy w stanie dowolnie deformować powierzchnię naszej bryły (twarzy). Określone przekształcenia geometryczne sześcianu, w którym zamknięty jest nasz model można wielokrotnie nakładać na siebie, zmieniając natężenie deformowania modelu (np. mniej lub bardziej wyrazisty uśmiech). Przy zastosowaniu parametrycznego podejścia, można stworzyć potężne narzędzie modelowania emocji twarzy za pomocą metody pseudomięśniowej. Istnieje obecnie kilka technik pozwalających na deformację bryły z wykorzystaniem techniki FFD w różny sposób [1, 49, 11, 9], jednak najbardziej udokumentowana jest technika stworzona przez duet Sederberg-Parry [49]. Deformacja powierzchni skórnej modelu uwzględniająca specyfikację i kontrolowanie akcji mięśniowych, bazująca na technice FFD została dokładniej opisana w pracy Chadwick a [8]. Technika FFD została rozwinięta do postaci Rational FFD (RFFD) [30]. Rozwinięcie polega na dodaniu do metody FFD jeszcze jednego stopnia swobody, w postaci wagi dla każdego punktu kontrolnego (jeśli waga jest jednostkowa, to metoda jest odzwierciedleniem zwykłego FFD). Pozwala to na korygowanie deformacji nie tylko z poziomu pozycji punktu kontrolnego, przez co ułatwia wykorzystanie tej metody do konkretnych zastosowań modelowania emocji. Konkretny wyraz mimiczny twarzy może być kontrolowany przez położenie punktów kontrolnych z siatki FFD, a stopień natężenia emocji przez wagi tych punktów Modele mięśniowe Wraz z rozwojem animacji twarzy (jak i animacji w ogóle), coraz większe pragnienie stworzenia realistycznej mimiki twarzy oraz jej szybka zmiana w czasie, ukierunkowały modelowanie w stronę naśladowania anatomicznej budowy. Po dzień dzisiejszy nie opublikowano jednak modelu uwzględniającego kompletną, szczegółową anatomię. Powstało natomiast wiele modeli mięśniowych (często wraz z innymi warstwami), które korzystają z uproszczonych modeli struktury kostnej, mięśniowej, połączeń tkanek oraz skóry. W ni- Komputerowe metody modelowania emocji twarzy ludzkiej 37

39 3.2. TECHNIKI ANIMACJI TWARZY niejszej pracy został zaimplementowany uproszczony model mięśniowy zaproponowany przez Waters a [55] (dokładny opis znajduje się w rozdziale 4 Projekt własnej aplikacji komputerowej). W przeciwieństwie do modeli pseudomięśniowych, modele mięśniowe opierają się na symulowaniu fizycznego działania mięśni oraz tkanek twarzy. Jako pierwsi Stephen M. Platt i Norman I. Badler opisali system, który pod powierzchnią zewnętrzną modelu posiadał zaimplementowaną warstwę mięśniową [47]. Warstwę tę tworzył skomplikowany, hierarchiczny system mięśni, podzielonych na włókna. Włókna oddziaływały na poszczególne wierzchołki warstwy skórnej modelu leżące w obszarze ich działania. Włókna zostały pogrupowane w mięśnie, te zaś zostały pogrupowane według jednostek akcji opisanych przez system FACS (więcej o systemie FACS w rozdziale Systemy formalnego zapisu emocji). Pozwalało to na parametryczne zarządzanie deformacją modelu, z zachowaniem realnego podziału na anatomiczne jednostki akcji mięśni twarzy oraz anatomiczną budowę. Nieco później, Waters opublikował pracę opisującą model, na którym bazują modele większości późniejszych prac. W pracy tej opisał system mięśniowy, zawierający podział na dwa rodzaje mięśni (mięśnie poprzeczne oraz okrężne), z dokładnym opisem zasady ich działania. Każdy mięsień tworzy wektor kierunkowy, który określa kierunek jego działania. Obszar działania mięśnia określa parametr strefy, która obejmuje obszar od przyczepu mięśnia pod określonym kątem. Model ten również opierał się na opisie FACS. Pomysł Watersa został przez niego udoskonalony trzy lata później, rozszerzając model o trzywarstwową deformowalną powierzchnię (symulującą skórę, warstwę tkanki podskórnej oraz mięśnie) [52]. System opisany przez Watersa ma jeszcze jedną ważną zaletę, która sprawiła iż jest tak szeroko wykorzystywany. Mięśnie są niezależne od warstwy kostnej, przez co system nadaje się do zastosowania na modelach o różnych kształtach bez większej ingerencji. Pozwala to na szerokie wykorzystanie go przy animacji wielu różnych twarzy modelowanych obiektów. Dzisiaj stosowane modele, są już daleko idącymi rozwinięciami modelu opisanego przez Watersa [56, 57, 7, 59]. Przede wszystkim, współczesne cyfrowe modele warstw coraz lepiej naśladują swoje anatomiczne pierwowzory. Naukowcy pracują intensywnie nad udoskonalaniem równań matematycznych opisujących fizyczną sprężystość, deformację i uwzględ- Komputerowe metody modelowania emocji twarzy ludzkiej 38

40 3.3. PODEJŚCIE PARAMETRYCZNE niając obszary działania danego elementu. Stworzenie dobrego modelu jest jednak bardzo czasochłonne, dlatego częstotliwość pojawiania się nowych czy nowatorskich rozwiązań jest nie większa niż kilka lat Podejście parametryczne Niezależnie od zastosowanej techniki, sterowanie procesem modelowania może się odbywać w różny sposób. Najciekawszym, jak i najczęściej wykorzystywanym jest podejście parametryczne. Jest to idea, w myśl której tworzy się model z odpowiednimi warstwami (technika animacji jest tu dowolna), a następnie dostarcza zewnętrznie dostępny zestaw parametrów kontrolnych, pozwalających poruszać modelem. Przy modelowaniu rozdziela się warstwę programową i warstwę animacji, tak więc do kontrolowania wyrazów twarzy nie potrzebna jest znajomość mechaniki deformacji modelu, a jedynie wiedza z zakresu samego modelu emocji na twarzy. Pozwala to przy większych projektach zostawić pracę dotyczącą animacji animatorowi, a implementację programowych rozwiązań poruszających powierzchnią modelu programiście. Parametryzacja modelu ma za zadanie odzwierciedlić poszczególne cechy deformacji modelu, np. podnoszenie brwi, opuszczanie żuchwy czy podnoszenie kątów ust. Idealny (czy raczej kompletny) model parametryczny powinien uwzględniać wszystkie potrzebne punkty kontrolne, pozwalające na wyrażanie wszystkich możliwych emocji oraz ekspresji twarzy. Taki model powinien dać się zastosować na dowolnym modelu twarzy, aby za pomocą tego samego zestawu parametrów o tych samych wartościach, można było osiągnąć ten sam efekt na każdej twarzy. Jak można się domyśleć, jest to bardzo trudne do osiągnięcia. Ilość parametrów pozwalających na poruszanie podstawowymi częściami twarzy, jej stopnie swobody oraz tworzenie podstawowych emocji, jest już dość duża. Dodatkowo, nadmierna ilość parametrów może łatwo uczynić model ciężkim w użyciu. Przy tworzeniu modelu parametrycznego, należy więc rozważnie dobierać parametry. Komputerowe metody modelowania emocji twarzy ludzkiej 39

41 3.3. PODEJŚCIE PARAMETRYCZNE Modelowanie z wykorzystaniem podejścia parametrycznego może się odbywać niejako na dwa sposoby: zbudowanie modelu, a następnie dostarczenie parametrów do jego kontroli, opracowanie parametrów kontrolnych, a następnie zbudowanie modelu wykorzystującego te parametry. Nie można jednoznacznie określić, czy któraś z podanych wyżej ścieżek jest lepsza. W obecnych czasach, od strony technicznej zaprogramowanie dowolnego modelu w dowolny sposób jest jedynie kwestią poświęcenia określonej ilości czasu, tak więc praktycznie każdemu modelowi można przypisać (nieraz bardzo skomplikowany) zestaw funkcji kontrolnych, które da się dodatkowo parametryzować. Równocześnie, można dowolne parametry przenieść na gotowy już model. Tak więc wybór odpowiedniej drogi przy produkcji systemu modelowania emocji wydaje się być jedynie kwestią upodobań twórców. Przy tworzeniu aplikacji EmotionModeller zastosowano podejście hybrydowe, tzn. najpierw wybrano teoretycznie najlepszą metodę formalnego zapisu emocji twarzy. Następnie opracowano model 3D twarzy, a w końcowej fazie doprecyzowano zestaw parametrów kontrolnych sterujących modelem. Parametry modelu twarzy można podzielić na dwie grupy. Pierwsza z nich zawiera parametry odpowiadające bezpośrednio za deformację modelu podczas emocji (kontrolę otwarcia/zamknięcia oczu, kształt i rozchylenie ust, stopień podniesienia brwi, policzków, kąt obrotu żuchwy, etc), podczas gdy druga zawiera parametry determinujące cechy charakterystyczne samego wyglądu modelu (szerokość żuchwy, długość nosa, położenie uszu, obrót głowy, odległość gałek ocznych, etc). W niniejszej pracy położono większy naciska na parametry związane z samymi emocjami, niż z dopasowywaniem samego modelu. Przy modelach antropometrycznych, stosowanych do tworzenia nowych twarzy na podstawie np. banku danych pochodzących ze skanera laserowego czy za pomocą algorytmów genetycznych [33], większy nacisk kładzie się na parametryzację cech charakterystycznych kształtu modelu. Komputerowe metody modelowania emocji twarzy ludzkiej 40

42 3.3. PODEJŚCIE PARAMETRYCZNE Dobry opis teoretyczny ruchów twarzy (np. system FACS) może znacznie uprościć proces definiowania oraz doboru parametrów modelu emocji. Ponieważ jednostki akcji mięśni twarzy, z których składa się system FACS odpowiadają anatomicznej budowie, bardzo dobrze nadają się jako fundament przy parametryzowaniu modelu. System FACS został wykorzystany również podczas tworzenia parametrów w aplikacji EmotionModeller. Komputerowe metody modelowania emocji twarzy ludzkiej 41

43 4. Projekt własnej aplikacji komputerowej Jednym z celów niniejszej pracy było zbudowanie systemu pozwalającego na wyrażanie emocji twarzy na modelu 3D. Zadanie to nie jest trywialne, chociażby ze względu na anatomię samego modelu (por. rozdział 2.1 Anatomia twarzy). Systemy służące do modelowania twarzy są skomplikowane i powstają na przestrzeni lat. Przegląd dostępnych metod animacji twarzy (rozdział 3.2 Techniki animacji twarzy) pozwolił na wybranie odpowiedniej techniki modelu mięśniowego. Pozwala on na dowolną deformację twarzy w czasie rzeczywistym. Za pomocą kilku parametrów można otrzymać praktycznie każdą ekspresję mimiczną twarzy. Stworzona aplikacja ma jedynie pokazać wykorzystanie wybranej metody animacji twarzy oraz sposobu modelowania emocji za pomocą modelu parametrycznego. Do jej stworzenia wykorzystano technologię OpenGL oraz biblioteki Qt do stworzenia gui. Aplikacja została nazwana EmotionModeller. Podczas jej tworzenia oraz implementacji poszczególnych mechanizmów, największy nacisk położono na realizm modelowanych emocji (emocje pełnią ważną rolę w komunikacji niewerbalnej). Realizm ten determinuje odpowiedni odczyt emocji przez odbiorcę, wywołując u niego określoną reakcję (np. smutek współczucie, radość radość, etc). Kierując się tą przesłanką, próbowano osiągnąć realistyczne emocje na modelowanej twarzy pilnując, aby model nie stał się zbyt skomplikowany Model twarzy Początkowo w aplikacji próbowano zastosować model oparty o powierzchnie B-sklejane (NURBS, non-uniform rational B-splines), jednak model taki pomimo dobrego wizualnego efektu końcowego oraz dostarczenie dużej ilości detali, nie daje się tak łatwo animować. Wprowadzenie parametrów kontrolnych do takiego modelu jest dużo trudniejsze niż do Komputerowe metody modelowania emocji twarzy ludzkiej 42

44 4.1. MODEL TWARZY modeli wielokątowych. Poza tym, ilość dodatkowej pracy potrzebna do racjonalnego deformowania twarzy złożonej z powierzchni NURBS jest niepomiernie większa do osiągniętych na końcu efektów. Dodatkowo, ponieważ natura komputerów wykorzystuje przy wyświetlaniu wielokąty (głównie trójkąty) modele stworzone za pomocą innych technik niż wielokątowe, są przed wyświetlaniem przybliżane za pomocą wielokątów (w celu poprawienia wydajności). Pomimo stopnia skomplikowania, modele takie są czasem wykorzystywane do animacji twarzy [54], szczególnie przy modelach antropometrycznych [13]. Tak więc, przy animacji twarzy technikami nastawionymi na deformowanie modelu w czasie rzeczywistym najczęściej wykorzystuje się modele, których powierzchnia składa się z wielokątów. W aplikacji wykorzystano model opracowany przez Watersa [55]. Został on od tego czasu zmodyfikowany na potrzeb wielu prac naukowych. W aplikacji wykorzystano model w wersji 2.0. W pracy Watersa przy renderowaniu tego modelu zastosowano dość dziwne proporcje pomiędzy jego szerokością, a wysokością (model był zbyt wąski i pociągły). Odbiło się to na realizmie modelu i zostało doświadczalnie skorygowane w niniejszej aplikacji (Rysunek 4.1). Rysunek 4.1: Dopasowanie proporcji modelu do twarzy w aplikacji EmotionModeller Model twarzy Watersa jest typowym modelem 3D i składa się z 882 wielokątów. RyKomputerowe metody modelowania emocji twarzy ludzkiej 43

45 4.1. MODEL TWARZY sunek 4.2 przedstawia model wyrenderowany bezpośrednio w aplikacji EmotionModeller. Rysunek 4.2: Model twarzy w aplikacji EmotionModeller: (a) bez oświetlenia, (b) z oświetleniem Realistyczny algorytm obrotu żuchwą Z pracy Watersa zaczerpnięto również algorytm obrotu żuchwy, który następnie zmodyfikowano. Uzależniono kąt obrotu szczęki od odległości punktu względem środka modelu (płaszczyzny osi 0Y i punktu x = 0). Powoduje to, iż w raz ze wzrostem odległości od środka modelu, punktu są przesuwane pod coraz mniejszym kątem. Daje to realistyczny efekt rozchylania ust: najszerzej na środku, najmniej po bokach. Kod funkcji odpowiadającej za obrót żuchwą zawiera listing 4.5 znajdujący się w rozdziale 4.5 Fragmenty implementacji systemu. Komputerowe metody modelowania emocji twarzy ludzkiej 44

46 4.2. MODEL MIĘŚNIOWY 4.2. Model mięśniowy Na potrzeby warstwy mięśniowej stworzone zostały obiekty mięśni, posiadające właściwości takie jak: obszar działania, przyczep początkowy i końcowy, współczynnik sprężystości. W celu uproszczenia zaimplementowano jedynie mięśnie poprzeczne. Mięsień okrężny występuje tylko w okolicy oczy oraz ust. Mięśnie te w okolicy oczu można łatwo zamodelować kilkoma mięśniami poprzecznymi. Rozważania na temat okolicy ust zostały opisane w dalszej części. Działanie mięśnia płatowego czoła (Frontalis) również zostało przybliżone za pomocą zwiększonej ilości mięśni poprzecznych (ponieważ czoło nie jest całkiem płaską powierzchnią). Implementacja modelu mięśnia poprzecznego została wykonana za pomocą wektora kierunkowego. Wynika to niejako z anatomicznej budowy mięśnia mimicznego, który posiadając nieruchomy przyczep kostny oraz ruchomy przyczep skórny, podczas skurczu kurczy się w kierunku przyczepu kostnego (przyciągając niejako do siebie drugi koniec mięśnia). Zastosowano takie rozwiązanie, ponieważ jest to bardzo dobre przybliżenie fizycznego działania mięśnia. Dla uproszczenia pominięte zostały włókna mięśniowe, ponieważ ich modelowanie nie wprowadziło by dużej zmiany w zakresie samej deformacji, a jedynie zwiększyło by ilość wykonywanych operacji (co przy modelowaniu w czasie rzeczywistym nie jest pożądane). Mechanizm mięśnia oparty na wektorze kierunkowym został opisany we wspomnianej już pracy Watersa [55]. Zaproponował on model oparty o wektor kierunkowy oraz kąt opisujący obszar działania mięśnia (rysunek 4.3). Podczas deformacji, nowe współrzędne punktu znajdującego w obrębie działania mięśnia wyliczane są za pomocą wzoru p = p + cos(µ)kr (4.1) Komputerowe metody modelowania emocji twarzy ludzkiej 45

47 4.2. MODEL MIĘŚNIOWY Rysunek 4.3: Model mięśnia poprzecznego zaproponowany przez Watersa [55] gdzie µ jest kątem pomiędzy wektorami (v 1, v 2 ) i (v 1, p), k jest współczynnikiem elastyczności skóry, D = v 1 p, a r jest parametrem kątowym przemieszczenia (deformacji): r = cos( 1 D R s ), dla obszaru (v 1 p n p m p 1 ) cos( D Rs R f R s ), dla obszaru (v 1 p n p m p 1 ) (4.2) Wybór mięśni W celu deformacji modelu została dostarczona warstwa mięśniowa składająca się z 20 mięśni (18 na podstawie doświadczeń Watersa [55] oraz dwóch mięśni dodatkowych, symulujących działanie mięśnia orbicularis oris w obrębie wargi górnej i dolnej). Waters w swojej pracy wyselekcjonował główne mięśnie twarzy odpowiedzialne za mimikę twa- Komputerowe metody modelowania emocji twarzy ludzkiej 46

48 4.2. MODEL MIĘŚNIOWY rzy. Są to: Zygomatic major, Depressor anguli, Orbicularis oris, Frontalis, Levator labii superioris alaeque nasi, Levator labii superioris major, Corrugator supercili, Corrugator. W aplikacji podzielono mięsień płaski frontalis na trzy mięśnie poprzeczne (Frontalis Inner, Frontalis Outer, Frontalis Major). Wszystkie mięśnie są mięśniami parzystymi, występującymi symetrycznie po obu stronach twarzy. Wybrane mięśnie pozwalają na ruszanie podstawowymi obszarami twarzy z zadowalającym skutkiem, przy zachowaniu czytelności modelu oraz rozsądnej ilości parametrów służących do sterowania deformacją. Rysunek 4.4 zawiera model wraz z naniesioną warstwą mięśniową i opisem poszczególnych mięśni w obrębie twarzy. Rysunek 4.4: Opis mięśni zastosowanych w programie EmotionModeller Komputerowe metody modelowania emocji twarzy ludzkiej 47

49 4.2. MODEL MIĘŚNIOWY Mięśnie okrężne Mięśnie okrężne występują dookoła otworów czaszki. O ile mięsień okrężny oczu (orbicularis oculi) można z dużą dokładnością przybliżać za pomocą mięśni liniowych gęsto ułożonych dookoła oczu (krawędzie wewnętrzne oczu nie deformują swojego kształtu i zawsze są elipsą), to mięsień okrężny ust (orbicularis oris) generuje pewne dodatkowe problemy. Model wykorzystany w aplikacji EmotionModeller został poszerzony o dwa mięśnie poprzeczne w obrębie wargi górnej i dolnej (względem tych zaproponowanych przez model Watersa). Mają one za zadanie symulować mięsień okrężny ust (orbicularis oris). Początkowo do symulowania zostały użyte cztery mięśnie (dwa do poruszania wargą górną i dwa do poruszania wargą dolną), jednak ze względu na dalej opisane problemy zaniechano ich stosowania i zostały zamienione na parę poruszającą obiema wargami równocześnie. Oczywiście, można by zasymulować mięsień okrężny ust tak jak to opisał Waters (jako elipsę, która ściąga w kierunku swojego środka punkty leżące w promieniu elipsy), jednak nie rozwiązuje to napotkanych problemów. Poza tym, mięsień eliptyczny jedynie skupia do swojego centrum wszystkie punkty, co sprawdza się tylko, gdy mamy do czynienia z uformowaniem ust o otwartym kształcie. Przy zmianie kształtu, na przykład przy emocji smutku czy radości (usta w kształcie łuku ) mięsień zaproponowany przez Watersa nie sprawdza się i nie zapewnia osiągnięcia realistycznych efektów. Pierwszym problemem napotkanym przy próbie deformacji ust było zmienne położenie punktów w obrębie warg, w zależności od kąta otwarcia żuchwy. Ponieważ zamodelowane mięśnie są warstwą nieruchomą, aby mogły działać jednakowo na obszarze okolic ust musiałby się przemieszczać równocześnie wraz z żuchwą. Dodatkowo, kąt pod jakim musiałby się poruszać byłby nieco inny (powinien być połową kąta odchylenia żuchwy, aby środek elipsy był zawsze w środku szczeliny ust). Niesie to za sobą również problem dynamicznego dostosowywania obszaru działania mięśnia w zależności od rozwarcia ust. Mięśnie te musiałby swoim działaniem obejmować wargę górną i dolną równocześnie, niezależnie od stopnia obniżenia żuchwy. Po wstępnych próbach zaniechano takiego rozwiązania. Drugim problemem na jaki natrafiono był problem oczywistego (na pierwszy rzut oka) rozdzielenia mięśni wargi górnej i dolnej. Jak już wspomniano, próbowano zastoso- Komputerowe metody modelowania emocji twarzy ludzkiej 48

50 4.2. MODEL MIĘŚNIOWY wać osobne mięśnie do sterowania dolną i górną wargą. Dopasowanie zakresu działania mięśnia tak, aby kończył się on dokładnie na szczelinie ust było zadaniem nie łatwym. O ile do górnej wargi dało się zastosować mięśnie, które poruszały nią w dowolny sposób niezależnie od położenia żuchwy (górna warga jest nieruchoma), to próba zastosowania mięśni poruszających wargą dolną zakończyła się niepowodzeniem. Przy dolnej wardze nie da się w prosty sposób pominąć opisanego wyżej problemu pierwszego. Można jednak zauważyć, iż w emocjach w których mamy do czynienia z zamkniętymi ustami (o małym natężeniu, np. lekkie zadowolenie czy nieznaczne niezadowolenie) nie można niezależnie poruszać wargami, ponieważ na linii szczeliny ust przyjmują one ten sam kształt. Tak więc, zastosowanie mięśni poruszającymi nimi niezależnie mija się w tym przypadku z celem. Zostaje więc problem ust otwartych, dla których poruszanie górną i dolną wargą w przeciwnym kierunku może występować. Na przykład w wariancie emocji zaskoczenia, gdy usta układają się jak przy wymowie litery o, potrzebne jest rozchylenie odśrodkowo wargi dolnej i górnej. Zastosowane rozwiązanie symulacji za pomocą dwóch mięśni liniowych pozwala uzyskać w tym zakresie również zadowalające efekty. Ponieważ stosowanie tego typu deformacji jest dość rzadkie, a osiągnięte efekty deformacji jednokierunkowej niezależnej (inny stopień wygięcia górnej i dolnej wargi) wydają się wystarczające, pozostano przy tej implementacji substytutu mięśnia orbicularis oris Obszary interferencji mięśni W obszarach o gęsto nałożonej siatce mięśniowej (okolice oczu, nosa i ust), dany obszar objęty jest działaniem kilku mięśni. Stwarza to czasem problemy podczas deformacji za pomocą kilku mięśni na raz, na granicy ich stref działania. Może się bowiem zdarzyć, że podczas skurczu jednego mięśnia, punkt zostanie przesunięty i wyjęty spod działania drugiego mięśnia (ang. overlapping, rysunek 4.5). Prowadzić to może do uzyskania nierealnych efektów, podczas gdy wypadkowa działania dwóch przesunięć powinna dawać zawsze ten sam efekt (niezależnie od kolejności Komputerowe metody modelowania emocji twarzy ludzkiej 49

51 4.2. MODEL MIĘŚNIOWY Rysunek 4.5: Overlapping na obszarach objętych działaniem dwóch mięśni kurczu mięśni). Sytuacje takie są niezmiernie rzadkie, jednak przy bardzo natężonych emocjach mogą występować. W celu eliminacji tego niechcianego zjawiska można zastosować dwie metody: wypadkową deformacji [54] oraz metodę współczynnika kontrakcji [7]. W programie EmotionModeller zastosowano metodę współczynnika kontrakcji, gdyż wypadkowa deformacji powoduje inny, mniej realistyczny rodzaj deformacji przy konkatenacji. Wraz z każdą deformacją wzrasta współczynnik kontrakcji danego wierzchołka zbliżając się do wartości maksymalnej, przy której dalsza zmiana jego położenia jest już niemożliwa (do czasu obniżenia się wartości współczynnika, na przykład przy zmniejszeniu się oddziaływania mięśnia). Efekty metody oraz porównanie jej do metody wypadkowej deformacji pokazuje rysunek 4.6. Chociaż zapobiega to niechcianemu efektowi nadmiernej czy niekontrolowanej deformacji, sytuacje gdzie występują takie przypadki są dość rzadkie. Dlatego w programie rozwiązanie to zostało udostępnione jako opcja (można ją włączyć/wyłączyć w zakładce Options). Komputerowe metody modelowania emocji twarzy ludzkiej 50

52 4.3. EMOCJE TWARZY Rysunek 4.6: Porównanie metod [7]: wypadkowej deformacji oraz współczynnika kontrakcji. (a),(b) działanie pojedynczego mięśnia, (c) działanie obu mięśni (współczynnik kontrakcji), (d) działanie obu mięśni (wypadkowa deformacji) 4.3. Emocje twarzy Ostatnim etapem tworzenia aplikacji EmotionModeller było zaprojektowanie parametrów kontrolnych do sterowania modelem. Ponieważ do deformacji modelu wybrano w zasadzie tylko 10 mięśni (20 symetrycznie rozmieszczonych, czyli de facto 10), sterowanie modelem za pomocą napięcia każdego z mięśni osobno nie jest skomplikowane. Dostarcza to kompletny zestaw parametrów dający możliwość sterowania emocjami twarzy za pomocą napięcia poszczególnych mięśni. Komputerowe metody modelowania emocji twarzy ludzkiej 51