Analiza emocji w kontekście jako jeden ze sposobów na osiągnięcie Roztropności Komputerowej

Transkrypt

1 Analiza emocji w kontekście jako jeden ze sposobów na osiągnięcie Roztropności Komputerowej Michal Ptaszynski Department of Computer Science Kitami Institute of Technology

2 Analiza emocji w kontekście jako jeden ze sposobów na osiągnięcie Roztropności Komputerowej Michal Ptaszynski Department of Computer Science Kitami Institute of Technology

3 Analiza emocji w kontekście jako jeden ze sposobów na osiągnięcie Roztropności Komputerowej Michal Ptaszynski Department of Computer Science Kitami Institute of Technology

4

5 Interakcja człowiek maszyna: Coraz bardziej Skomplikowana Osobista Emocjonalna

6

7 Potrzebujemy precyzyjnych obliczeniowych modeli emocji

8 EMOCJE MODELE KOMPUTEROWE

9 EMOCJE MODELE KOMPUTEROWE Wyrazy twarzy Input: człowiek płacze (łzy i smutny wyraz twarzy); Output: człowiek jest smutny

10 1. Z. Zeng, M. Pantic, G.I. Roisman, and T.S. Huang, A Survey of Affect Recognition Methods: Audio, Visual, and Spontaneous EMOCJE MODELE KOMPUTEROWE Expressions, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 31, no. 1, pp , Jan P. Ekman and W.V. Friesen, Unmasking the Face. Malor Books, I. Arroyo, D.G. Cooper, W. Burleson, B.P. Woolf, K. Muldner, and R. Christopherson, Emotion Sensors Go to School, Proc. 14th Conf. Artificial Intelligence in Education, pp , P. Ekman, An Argument for Basic Emotions, Cognition and Emotion, vol. 6, pp , P. Ekman, Expression and the Nature of Emotion, Approaches to Emotion, K. Scherer and P. Ekman, eds., pp , Erlbaum, P. Ekman Wyrazy and W. Friesen, Facial twarzy Action Coding System: A Technique for the Measurement of Facial Movement: Investigator s Guide 2 Parts. Consulting Psychologists Press, G. Donato, M.S. Bartlett, J.C. Hager, P. Ekman, and T.J. Sejnowski, Classifying Facial Actions, IEEE Pattern Analysis and Machine Intelligence, vol. 21, no. 10, pp , Oct Input: człowiek płacze 8. A. Asthana, J. Saragih, M. Wagner, and R. Goecke, Evaluating AAM Fitting Methods for Facial Expression Recognition, Proc Int l Conf. Affective Computing and Intelligent Interaction, T. Brick, M. Hunter, and J. Cohn, Get the FACS Fast: Automated FACS Face Analysis Benefits from the Addition of Velocity, Proc Int l Conf. Affective Computing and Intelligent Interaction, M.E. Hoque, R. el Kaliouby, and R.W. Picard, When Human Coders (and Machines) Disagree on the Meaning of Facial Affect in Spontaneous Videos, Proc. Ninth Int l Conf. Intelligent Virtual Agents, (łzy i smutny wyraz twarzy); 11. R. El Kaliouby and P. Robinson, Generalization of a Vision-Based Computational Model of Mind-Reading, Proc. First Int l Conf. Affective Computing and Intelligent Interaction, pp , R. El Kaliouby and P. Robinson, Real-Time Inference of Complex Mental States from Facial Expressions and Head Gestures, Proc. Int l Conf. Computer Vision and Pattern Recognition, vol. 3, p. 154, B. McDaniel, S. D Mello, B. King, P. Chipman, K. Tapp, and A. Graesser, Facial Features for Affective State Detection in Learning Output: człowiek jest smutny Environments, Proc. 29th Ann. Meeting of the Cognitive Science Soc., H. Aviezer, R. Hassin, J. Ryan, C. Grady, J. Susskind, A. Anderson, M. Moscovitch, and S. Bentin, Angry, Disgusted, or Afraid? Studies on the Malleability of Emotion Perception, Psychological Science, vol. 19, pp , M.S. Bartlett, G. Littlewort, M. Frank, C. Lainscsek, I. Fasel, and J. Movellan, Fully Automatic Facial Action Recognition in Spontaneous Behaviour, Proc. Int l Conf. Automatic Face and Gesture Recognition, pp , M. Pantic and I. Patras, Dynamics of Facial Expression: Recognition of Facial Actions and Their Temporal Segments from Face Profile Image Sequences, IEEE Trans. Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 36, no. 2, pp , Apr H. Gunes and M. Piccardi, Bi-Modal Emotion Recognition from Expressive Face and Body Gestures, J. Network and Computer Applications, vol. 30, pp , 2007.

11 EMOCJE MODELE KOMPUTEROWE Brzmienie głosu Input: człowiek mówi głośno; Output: człowiek jest zdenerwowany

12 1. P.N. Juslin and K.R. Scherer, Vocal Expression of Affect, The New Handbook of Methods in Nonverbal EMOCJE Behavior Research, MODELE Oxford Univ. Press, KOMPUTEROWE R. Banse and K.R. Scherer, Acoustic profiles in Vocal Emotion Expression, J. Personality and Social Psychology, vol. 70, pp , C.M. Lee and S.S. Narayanan, Toward Detecting Emotions in Spoken Dialogs, IEEE Trans. Brzmienie Speech and Audio głosu Processing, vol. 13, no. 2, pp , Mar L. Devillers, L. Vidrascu, and L. Lamel, Challenges in Real-Life Emotion Annotation and Machine Learning Based Detection, Neural Networks, vol. 18, pp , L. Devillers and L. Vidrascu, Real-Life Emotions Detection with Lexical and Paralinguistic Cues on Human-Human Call Center Dialogs, Proc. Ninth Int l Conf. Spoken Language Input: Processing, człowiek mówi głośno; 6. B. Schuller, J. Stadermann, and G. Rigoll, Affect-Robust Speech Recognition by Dynamic Emotional Adaptation, Proc. Speech Prosody, D. Litman and K. Forbes-Riley, Predicting Student Emotions in Computer-Human Tutoring Dialogues, Proc. 42nd Ann. Meeting on Assoc. for Computational Linguistics, Output: człowiek jest Signal Processing, zdenerwowany 8. B. Schuller, R.J. Villar, G. Rigoll, and M. Lang, Meta-Classifiers in Acoustic and Linguistic Feature Fusion-Based Affect Recognition, Proc. IEEE Int l Conf. Acoustics, Speech, and 9. R. Fernandez and R.W. Picard, Modeling Drivers Speech under Stress, Speech Comm., vol. 40, pp , 2003.

13 EMOCJE MODELE KOMPUTEROWE Sygnały fizjologiczne Input: Szybkie tętno, pot; Output: Ekscytacja;

14 1. F. Nasoz, K. Alvarez, C.L. Lisetti, and N. Finkelstein, Emotion Recognition from Physiological Signals Using Wireless SensorsEMOCJE for Presence Technologies, MODELE Cognition, Technology and KOMPUTEROWE Work, vol. 6, pp. 4-14, O. Villon and C. Lisetti, A User-Modeling Approach to Build User s Psycho-Physiological Maps of Emotions Using Bio- 3. Sensors, Proc. IEEE RO-MAN 2006, 15th IEEE Int l Symp. Robot and Human Interactive Comm., Session Emotional Cues in Human-Robot Interaction, pp , R.W. Sugnały Picard, E. Vyzas, and fizjologiczne J. Healey, Toward Machine Emotional Intelligence: Analysis of Affective Physiological State, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 23, no. 10, pp , Oct J. Wagner, N.J. Kim, and E. Andre, From Physiological Signals to Emotions: Implementing and Comparing Selected Methods for Feature Extraction and Classification, Proc. IEEE Int l Conf. Multimedia and Expo, pp , K. Kim, S. Bang, and S. Kim, Emotion Recognition System Using Short-Term Monitoring of Physiological Signals, Input: Szybkie tętno, pot; Medical and Biological Eng. and Computing, vol. 42, pp , May R.A. Calvo, I. Brown, and S. Scheding, Effect of Experimental Factors on the Recognition of Affective Mental States through Physiological Measures, Proc. 22nd Australasian Joint Conf. Artificial Intelligence, J.N. Bailenson, E.D. Pontikakis, I.B. Mauss, J.J. Gross, M.E. Jabon, C.A.C. Hutcherson, C. Nass, and O. John, Real- Time Classification of Evoked Emotions Using Facial Feature Tracking and Physiological Responses, Int l J. Human- Computer Studies, vol. 66, pp , C. Liu, K. Conn, N. Sarkar, and W. Stone, Physiology-Based Affect Recognition for Computer-Assisted Intervention of Children with Autism Spectrum Disorder, Int l J. Human-Computer Studies, vol. 66, pp , Output: Ekscytacja; 10. E. Vyzas and R.W. Picard, Affective Pattern Classification, Proc. AAAI Fall Symp. Series: Emotional and Intelligent: The Tangled Knot of Cognition, pp , A. Haag, S. Goronzy, P. Schaich, and J. Williams, Emotion Recognition Using Bio-Sensors: First Steps towards an Automatic System, Affective Dialogue Systems. pp , Springer, O. AlZoubi, R.A. Calvo, and R.H. Stevens, Classification of EEG for Emotion Recognition: An Adaptive Approach, Proc. 22nd Australasian Joint Conf. Artificial Intelligence, pp , A. Heraz and C. Frasson, Predicting the Three Major Dimensions of the Learner s Emotions from Brainwaves, World Academy of Science, Eng. and Technology, vol. 25, pp , 2007.

15 EMOCJE MODELE KOMPUTEROWE Język Input: Użycie słowa szczęśliwy ; Output: Człowiek jest szczęśliwy

16 Język EMOCJE MODELE KOMPUTEROWE 1. C.O. Alm, D. Roth, and R. Sproat, Emotions from Text: Machine Learning for Text-Based Emotion Prediction, Proc. Conf. Human Language Technology and Empirical Methods in Natural Language Processing, pp , T. Danisman and A. Alpkocak, Feeler: Emotion Classification of Text Using Vector Space Model, Proc. AISB 2008 Convention, Comm., Interaction and Social Intelligence, C. Strapparava and R. Mihalcea, Learning to Identify Emotions in Text, Proc ACM Symp. Applied Computing, pp , S.K. D Mello, S.D. Craig, J. Sullins, and A.C. Graesser, Predicting Affective States Expressed through an Emote- Aloud Procedure from AutoTutor s Mixed-Initiative Dialogue, Int l J. Artificial Intelligence in Education, vol. 16, pp. 3-28, Input: Użycie słowa szczęśliwy ; 5. S. D Mello, N. Dowell, and A. Graesser, Cohesion Relationships in Tutorial Dialogue as Predictors of Affective States, Proc Conf. Artificial Intelligence in Education: Building Learning Systems That Care: From Knowledge Representation to Affective Modelling, 6. V. Dimitrova, R. Mizoguchi, B. du Boulay, and A.C. Graesser, eds., pp. 9-16, C. Ma, A. Osherenko, H. Prendinger, and M. Ishizuka, A Chat System Based on Emotion Estimation from Text and Embodied Conversational Messengers, Proc Int l Conf. Active Media Technology, pp , A. Valitutti, C. Strapparava, and O. Stock, Lexical Resources and Semantic Similarity for Affective Evaluative Output: Człowiek jest szczęśliwy Expressions Generation, Proc. Int l Conf. Affective Computing and Intelligent Interaction, pp , W.H. Lin, T. Wilson, J. Wiebe, and A. Hauptmann, Which Side Are You On? Identifying Perspectives at the Document and Sentence Levels, Proc. 10th Conf. Natural Language Learning, pp , 2006.

17 EMOCJE MODELE KOMPUTEROWE Aby implementacja emocji była pełna model* musi być skończony i pełny * Lub zbiór modeli

18 EMOCJE MODELE KOMPUTEROWE Aby implementacja emocji była pełna model* musi być skończony i pełny Co się dzieje, gdy model emocji nie jest pełny lub precyzyjny? * Lub zbiór modeli

19 BŁĘDY W MODELACH Wyrazy twarzy Input: brwi ściągnięte, usta otwarte, palec wskazujący; Output: Człowiek jest zły / zdenerwowany

20 Wyrazy twarzy Dodatkowy Input: Kontekst: brwi ściągnięte, usta 1. Pochwała otwarte, palec 2. Ostrzeżenie wskazujący; 3. Gniew BŁĘDY W MODELACH Output: Człowiek jest zły / zdenerwowany

21 BŁĘDY W MODELACH Wyrazy twarzy Input: człowiek płacze (łzy i smutny wyraz twarzy); Output: człowiek jest smutny

22 Wyrazy twarzy Dodatkowy Input: człowiek kontekst: płacze Człowiek kroi (łzy i smutny wyraz twarzy); Output: człowiek jest smutny BŁĘDY W MODELACH cebulę w kuchni

23 BŁĘDY W MODELACH Brzmienie głosu Input: człowiek mówi głośno; Output: człowiek jest zdenerwowany

24 Brzmienie głosu BŁĘDY W MODELACH Dodatkowy Input: człowiek kontekst: mówi głośno; Człowiek Output: człowiek jest zdenerwowany słucha muzyki w słuchawkach i źle słyszy

25 Sygnały fizjologiczne Input: Szybkie, nierówne tętno, pot; BŁĘDY W MODELACH Output: Ekscytacja;

26 Sygnały fizjologiczne Input: Dodatkowy Szybkie, nierówne tętno, kontekst: pot; Zawał serca, arytmia, itd. Output: Ekscytacja; BŁĘDY W MODELACH

27 BŁĘDY W MODELACH Język Input: Użycie słowa szczęśliwy ; Output: Człowiek jest szczęśliwy

28 BŁĘDY W MODELACH Język Dodatkowy kontekst: Input: Użycie słowa szczęśliwy ; 1. Nie jestem szczęśliwy Output: Człowiek jest szczęśliwy

29 BŁĘDY W MODELACH Język Dodatkowy kontekst: Input: Użycie słowa szczęśliwy ; 1. Nie jestem szczęśliwy Output: Człowiek jest szczęśliwy 2. Jestem szczęśliwy, że ten sukinsyn wpadł pod tramwaj! Dobrze mu tak!

30 Potrzebujemy pełnejszego modelu emocji aby nasze roboty Rozumiały nas lepiej Mogły pomagać nam zarządzać naszymi emocjami

31 Inteligencja Emocjonalna Intelligencja jedna czy wiele? Howard Gardner IQ tells you nothing!. 1 (teoria inteligencji wielorakiej) There are many kinds of intelligence: logical, linguistic, spatial, musical, kinesthetic, naturalist, intrapersonal and interpersonal Peter Salovey & John D. Mayer Emotional Intelligence 2 The ability to recognize, monitor one's own and others' emotions, to discriminate among them and to use this information to guide one's thinking and actions. 1. Gardner, Howard (1983). Frames of mind: The theory of multiple intelligences. New York: Basic Books 2. Salovey, P. & Mayer, J.D. (1990) "Emotional intelligence" Imagination, Cognition, and Personality, 9,

32 Inteligencja Emocjonalna Emotional Intelligence Framework I Perception, appraisal, and expression of emotion Ability to recognize emotion in one's physical and psychological states, in other people and objects. Ability to discriminate between accurate and inaccurate, appropriate and inappropriate, honest and dishonest, expressions of emotions. Ability to express emotions accurately, and to express needs related to them. II Emotional facilitation of thinking Ability to redirect and prioritize one's thinking based on the feelings associated with objects, events, and other people. Ability to generate or emulate vivid emotions to facilitate judgments and memories concerning feelings. Ability to capitalize on mood swings to take multiple points of view; ability to integrate these mood-induced perspectives. Ability to use emotional states to facilitate problem solving and creativity. III Understanding and analyzing emotional information; employing emotional knowledge Ability to understand how different emotions are related. Ability to perceive the causes and consequences of emotions. Ability to interpret complex emotions, such as emotional blends and contradictory feeling states. Ability to understand and predict likely transitions between emotions. IV Regulation of emotion Ability to be open to feelings, both those that are pleasant and those that are unpleasant. Ability to monitor and reflect on emotions. Ability to engage, prolong, or detach from an emotional state, depending upon its judged informativeness or utility. Ability to manage emotion in oneself and others. John D. Mayer and Peter Salovey. What is emotional intelligence?, Emotional Development and Emotional Intelligence:3-31, 1997.

33 Inteligencja Emocjonalna Emotional Intelligence Framework I Perception, appraisal, and expression of emotion Ability to recognize emotion in one's physical and psychological states, in other people and objects. Ability to discriminate between accurate and inaccurate, appropriate and inappropriate, honest and dishonest, expressions of emotions. Ability to express emotions accurately, and to express needs related to them. II Emotional facilitation of thinking Ability to redirect and prioritize one's thinking based on the feelings associated with objects, events, and other people. Ability to generate or emulate vivid emotions to facilitate judgments and memories concerning feelings. Ability to capitalize on mood swings to take multiple points of view; ability to integrate these mood-induced perspectives. Ability to use emotional states to facilitate problem solving and creativity. III Understanding and analyzing emotional information; employing emotional knowledge Ability to understand how different emotions are related. Ability to perceive the causes and consequences of emotions. manage Ability to interpret emotion complex emotions, in oneself such as emotional and blends and contradictory feeling states. Ability to understand and predict likely transitions between emotions. IV Regulation of emotion others. Ostateczna umiejętność: Ability to be open to feelings, both those that are pleasant and those that are unpleasant. Ability to monitor and reflect on emotions. zarządzanie emocjami Ability to engage, prolong, or detach from an emotional state, depending upon its judged informativeness or utility. Ability to manage emotion in oneself and others. John D. Mayer and Peter Salovey. What is emotional intelligence?, Emotional Development and Emotional Intelligence:3-31, 1997.

34 Inteligencja Emocjonalna Emotional Intelligence Framework I Perception, appraisal, and expression of emotion Ability to recognize emotion in one's physical and psychological states, in other people and objects. Ability to discriminate between accurate and inaccurate, appropriate Computing and inappropriate, wciąż jest honest tutaj!! and dishonest, expressions of emotions. Ability to express emotions accurately, and to express needs related to them. II Emotional facilitation of thinking recognize emotions Przez 25 lat Affective Ability to redirect and prioritize one's thinking based on the feelings associated with objects, events, and other people. Ability to generate or emulate vivid emotions to facilitate judgments and memories concerning feelings. Ability to capitalize on mood swings to take multiple points of view; ability to integrate these mood-induced perspectives. Ability to use emotional states to facilitate problem solving and creativity. III Understanding and analyzing emotional information; employing emotional knowledge Ability to understand how different emotions are related. Ability to perceive the causes and consequences of emotions. Ability to interpret complex emotions, such as emotional blends and contradictory feeling states. Ability to understand and predict likely transitions between emotions. IV Regulation of emotion Ostateczna umiejętność: Ability to be open to feelings, both those that are pleasant and those that are unpleasant. Ability to monitor and reflect on emotions. zarządzanie emocjami Ability to engage, prolong, or detach from an emotional state, depending upon its judged informativeness or utility. Ability to manage emotion in oneself and others. John D. Mayer and Peter Salovey. What is emotional intelligence?, Emotional Development and Emotional Intelligence:3-31, 1997.

35 Inteligencja Emocjonalna Emotional Intelligence Framework I Perception, appraisal, and expression of emotion Ability to recognize emotion in one's physical and psychological states, in other people and objects. Ability to discriminate between accurate and inaccurate, appropriate Computing and inappropriate, wciąż jest honest tutaj!! and dishonest, expressions of emotions. Ability to express emotions accurately, and to express needs related to them. II Emotional facilitation of thinking recognize emotions Przez 25 lat Affective Ability to redirect and prioritize one's thinking based on the feelings associated with objects, events, and other people. Ability to generate or emulate vivid emotions to facilitate judgments and memories concerning feelings. Ability to capitalize on mood swings to take multiple points of view; ability to integrate these mood-induced perspectives. Ability to use emotional states to facilitate problem solving and creativity. III Understanding and analyzing emotional information; employing emotional knowledge Ability to understand how different emotions are related. Ability to perceive the causes and consequences of emotions. Ability to interpret complex emotions, such as emotional blends and contradictory feeling states. Ability to understand and predict likely transitions between emotions. TRUDNO JEST IV Regulation of emotion TO WYRAZIĆ Ostateczna umiejętność: Ability to be open to feelings, both those that are pleasant and those that are unpleasant. Ability to monitor and reflect on emotions. Ability KOMPUTEROWO... zarządzanie emocjami to engage, prolong, or detach from an emotional state, depending upon its judged informativeness or utility. Ability to manage emotion in oneself and others. John D. Mayer and Peter Salovey. What is emotional intelligence?, Emotional Development and Emotional Intelligence:3-31, 1997.

36 Inteligencja Emocjonalna Potrzebujemy innego spojrzenia Gdy zaczynamy szukać odpowiedzi najlepiej jest zacząć od

37 . STAROZYTNA GRECJA ARYSTOTELES p.n.e. Poznaj samego siebie!

38 . STAROZYTNA GRECJA ARYSTOTELES p.n.e. 3 typy inteligencji Techne τέχνη wiedza ekspercka Sofia σοφία wiedza teoretyczna, mądrość Fronesis φρόνησις inteligencja praktyczna, roztropność

39 . STAROZYTNA GRECJA Czysto obliczeniowe (komputery już to robią) ARYSTOTELES p.n.e. 3 typy inteligencji Techne τέχνη wiedza ekspercka Sofia σοφία wiedza teoretyczna, mądrość Fronesis φρόνησις inteligencja praktyczna, roztropność

40 . STAROZYTNA GRECJA Czysto obliczeniowe (komputery już to robią) Nie obliczeniowe (nie dla komputerów) ARYSTOTELES p.n.e. 3 typy inteligencji Techne τέχνη wiedza ekspercka Sofia σοφία wiedza teoretyczna, mądrość Fronesis φρόνησις inteligencja praktyczna, roztropność

41 . STAROZYTNA GRECJA Czysto obliczeniowe (komputery już to robią) Nie obliczeniowe (nie dla komputerów) To komputery powinny robić ARYSTOTELES p.n.e. 3 typy inteligencji Techne τέχνη wiedza ekspercka Sofia σοφία wiedza teoretyczna, mądrość Fronesis φρόνησις inteligencja praktyczna, roztropność

42 Fronesis Właściwy osąd, mądrość praktyczna, wiedza o tym, co jest właściwe / odpowiednie do sytuacji, kto, kiedy i w jaki sposób powinien się wyrażać, roztropność. A w odniesieniu do emocji

43 Fronesis Właściwy osąd, mądrość praktyczna, wiedza o tym, co jest właściwe / odpowiednie do sytuacji, kto, kiedy i w jaki sposób powinien wyrażać emocje, roztropność.

44 Fronesis Pytania badawcze 1. Kto wyraża emocje? 2. Dlaczego wyraża emocje? 3. Czy wyrażenie jest odpowiednie do sytuacji (kontekstu)? 4. Czy stopień wyrażenie jest odpowiedni do sytuacji (kontekstu)? 5. Jeśli wyrażenie nie jest odpowiednie, jakie wyrażenie byłoby odpowiednie?

45 Fronesis Zadania / dziedziny badań 1. Określenie podmiotu emocji 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji 4. Weryfikacja kontekstowej adekwatności stopnia (intensywności) wyrażenia emocji 5. Modelowanie emocjoanlnych wzorców behawioralnych

46 Computational Fronesis Roztropność komputerowa Zadania / dziedziny badań 1. Określenie podmiotu emocji 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej stosowności wyrażenia emocji Da się zrobić! 4. Weryfikacja kontekstowej stosowności stopnia (intensywności) wyrażenia emocji 5. Modelowanie emocjoanlnych wzorców behawioralnych

47 Roztropność komputerowa Zadania / dziedziny badań 1. Określenie podmiotu emocji Kombincje tych zadań składają 2. Określenie obiektu emocji się na strategie emocjonalne 3. Weryfikacja kontekstowej stosowności wyrażenia emocji Dobre strategie składają się 4. Weryfikacja na model kontekstowej roztropności stosowności stopnia (intensywności) wyrażenia emocji komputerowej 5. Modelowanie emocjoanlnych wzorców behawioralnych

48 Roztropność komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji 4. Weryfikacja kontekstowej adekwatności stopnia (intensywności) wyrażenia emocji 5. Modelowanie emocjoanlnych wzorców behawioralnych

49 Roztropność komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji 4. Weryfikacja kontekstowej stosowności stopnia (intensywności) wyrażenia emocji 1. - Dokoshi, H., Oyama, S., Kurihara, M., Ptaszynski, M., Rzepka, R., & Araki, K. (2011). Emotion estimation of actors and non-actors in text using web mining [in Japanese]. In Proceedings of the Hokkaido Symposium on Information Processing, (pp ) Ptaszynski, M., Dybala, P., Rzepka, R., Araki, K., & Momouchi, Y. (2012). Annotating affective information on 5.5 billion word corpus of Japanese blogs. In Proceedings of The Eighteenth Annual Meeting of The Association 5. Modelowanie for Natural Language Processing emocjoanlnych (NLP-2012) (pp ). wzorców - Ptaszynski, M., Rzepka, R., Araki, K., & Momouchi, Y. (2012). A robust ontology of emotion objects. In Proceedings behawioralnych of The Eighteenth Annual Meeting of The Association for Natural Language Processing (NLP- 2012) (pp ).

50 Roztropność komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji 4. Weryfikacja kontekstowej stosowności stopnia (intensywności) wyrażenia emocji Ptaszynski, M., Dybala, P., Shi, W., Rzepka, R., & Araki, K. (2009). Towards context aware emotional intelligence in machines: Computing contextual appropriateness of affective states'. In Proceedings of Twenty-First International Joint Conference on Artificial Intelligence (IJCAI-09) (pp ). Ptaszynski, M., Dybala, P., Shi, W., Rzepka, R., & Araki, K. (2009). Shifting valence helps verify contextual appropriateness of emotions. In Working Notes of Twenty-first International Joint Conference on Artificial Intelligence (IJCAI-09), (pp ). Ptaszynski, M., Dybala, P., Shi, W., Rzepka, R., & Araki, K. (2009). Conscience of blogs: Verifying contextual appropriateness of emotions basing on blog contents. In Proceedings of the Fourth Inter-national Conference on Computational Intelligence (CI 2009) (pp. 1-6). Ptaszynski, 5. M., Modelowanie Dybala, P., Shi, W., Rzepka, R., & Araki, emocjoanlnych K. (2010). Contextual affect analysis: A system wzorców for verification of emotion appropriateness sup-ported with contextual valence shifters. International Journal of Biometrics, 2(2), doi: / IJBM behawioralnych Michal Ptaszynski, Michal Mazur, Pawel Dybala, Rafal Rzepka, Kenji Araki and Yoshio Momouchi. (2013). Towards Computational Fronesis: Verifying Contextual Appropriateness of Emotions, International Journal of Distance Education Technologies (IJDET), Vol. 11, No. 2, pp

51 NASZ SKROMNY WKŁAD Żeby nie być gołosłownym

52 Kontekstowa Adekwatność Emocji 試験に合格してうれしい! [radość] Cieszę się (ponieważ) zdałem egzamin! 彼女に振られて悲しい [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna

53 Kontekstowa Adekwatność Emocji 試験に合格してうれしい! [radość] Cieszę się (ponieważ) zdałem egzamin! あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna バレンタイン デーが来るから悲しいね [smutek] Jestem taki smutny (przez to, że/ponieważ) idą Walentynki

54 Kontekstowa Adekwatność Emocji 試験に合格してうれしい! [radość] Cieszę się (ponieważ) zdałem egzamin! あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna Adekwatne Nieadekwatne Adekwatne Nieadekwatne バレンタイン デーが来るから悲しいね [smutek] Jestem taki smutny (przez to, że/ponieważ) idą Walentynki

55 Kontekstowa Adekwatność Emocji 試験に合格してうれしい! [radość] Cieszę się (ponieważ) zdałem egzamin! あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna Adekwatne Nieadekwatne Adekwatne Nieadekwatne バレンタイン デーが来るから悲しいね [smutek] Jestem taki smutny (przez to, że/ponieważ) idą Walentynki

56 Kontekstowa Adekwatność Emocji 試験に合格してうれしい! [radość] Cieszę się (ponieważ) zdałem egzamin! あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい Zdałem egzamin [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna Adekwatne Nieadekwatne Adekwatne Nieadekwatne バレンタイン デーが来るから悲しいね [smutek] Jestem taki smutny (przez to, że/ponieważ) idą Walentynki

57 Kontekstowa Adekwatność Emocji (ponieważ) zdałem egzamin! WEB 試験に合格してうれしい Był bardzo zadowolony DB! MINING[radość] Była szczęśliwa Cieszę się (ponieważ) zdałem egzamin! wyrażeń emotywnych Tak się cieszę Ależ się cieszę あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい Zdałem egzamin [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna Adekwatne Nieadekwatne Adekwatne Nieadekwatne バレンタイン デーが来るから悲しいね [smutek] Jestem taki smutny (przez to, że/ponieważ) idą Walentynki

58 Kontekstowa Adekwatność Emocji (ponieważ) zdałem egzamin! Tak się cieszę Ależ się cieszę WEB 試験に合格してうれしい Był bardzo zadowolony DB! MINING[radość] Była szczęśliwa Cieszę się (ponieważ) zdałem egzamin! wyrażeń emotywnych あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい Zdałem egzamin [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna Lista emocji najczęściej pojawiających się w Adekwatne Nieadekwatne Adekwatne Nieadekwatne バレンタイン デーが来るから悲しいね [smutek] tym kontekście Jestem taki smutny (przez to, że/ponieważ) idą Walentynki (najbardziej typowych, naturalnych)

59 Kontekstowa Adekwatność Emocji (ponieważ) zdałem egzamin! Tak się cieszę Ależ się cieszę WEB 試験に合格してうれしい Był bardzo zadowolony DB! MINING[radość] Była szczęśliwa Cieszę się (ponieważ) zdałem egzamin! wyrażeń emotywnych あの野郎が車に引かれたと聞いてすっきり! [radość] Cieszę się (że/ponieważ) potrącił go samochoód! 彼女に振られて悲しい Zdałem egzamin [smutek] Jestem smutny (ponieważ) rzuciła mnie dziewczyna Lista emocji najczęściej pojawiających się w Adekwatne Nieadekwatne Adekwatne Nieadekwatne Porównanie wyrażenia ze zdania z wygenerowaną listą バレンタイン デーが来るから悲しいね [smutek] tym kontekście Jestem taki smutny (przez to, że/ponieważ) idą Walentynki (najbardziej typowych, naturalnych) Tak bardzo się cieszę (że) zdałem egzamin!

60 Nieadekwatne Adekwatne Kontekstowa Adekwatność Emocji Negatywne User: Nienawidzę go za wyśmianie mnie przed wszystkimi. ML-Ask: nielubienie; Web mining:złość, nielubienie Agent: No, na pewno masz powód do złości. [empatia] User: Mam doła bo idą Walentynki ML-Ask:nielubienie,smutek; Web mining:podneicenie,radość Agent: Czemu jesteś smutny? Walentynki to dzień szczęścia. [pocieszenie] Pozytywne Każda emocja może być adekwatna lub nie User: Cieszę się że zdałem egzamin! ML-Ask: radość; Web mining:radość,podniecenie Agent: To świetnie! Gratulacje! [empatia/sympatia] User: Cieszyłbym się, gdyby ten gnojek wpadł pod tramwaj! ML-Ask: radość; Web mining:strach, smutek Agent: Czy na pewno tak powinieneś się czuć? [porada/interwencja]

61 Kontekstowa Adekwatność Emocji

62 Kontekstowa Adekwatność Emocji 1. Weryfikacja Adekwatności dla typów emocji 70% 2. Weryfikacja Adekwatności dla wymiaru walencyjności 80%

63 Inteligencja Emocjonalna Emotional Intelligence Framework I Perception, appraisal, and expression of emotion Ability to recognize emotion in one's physical and psychological states, in other people and objects. Ability to discriminate between accurate and inaccurate, appropriate and inappropriate, honest and dishonest, expressions of emotions. Ability to express emotions accurately, and to express needs related to them. II Emotional facilitation of thinking Ability to redirect and prioritize one's thinking based on the feelings associated with objects, events, and other people. Ability to generate or emulate vivid emotions to facilitate judgments and memories concerning feelings. Ability to capitalize on mood swings to take multiple points of view; ability to integrate these mood-induced perspectives. Ability to use emotional states to facilitate problem solving and creativity. III Understanding and analyzing emotional information; employing emotional knowledge Ability to understand how different emotions are related. Ability to perceive the causes and consequences of emotions. Ability to interpret complex emotions, such as emotional blends and contradictory feeling states. Ability to understand and predict likely transitions between emotions. IV Regulation of emotion Ability to be open to feelings, both those that are pleasant and those that are unpleasant. Ability to monitor and reflect on emotions. Ability to engage, prolong, or detach from an emotional state, depending upon its judged informativeness or utility. Ability to manage emotion in oneself and others. John D. Mayer and Peter Salovey. What is emotional intelligence?, Emotional Development and Emotional Intelligence:3-31, 1997.

64 Inteligencja Emocjonalna Emotional Intelligence Framework I Perception, appraisal, and expression of emotion Ability to recognize emotion in one's physical and psychological states, in other people and objects. Ability to discriminate between accurate and inaccurate, appropriate and inappropriate, honest and dishonest, expressions of emotions. Ability to express emotions accurately, and to express needs related to them. II Emotional facilitation of thinking discriminate between [ ] Ability to redirect and prioritize one's thinking based on the feelings associated with objects, events, and other people. Ability to generate or emulate vivid emotions to facilitate judgments and memories concerning feelings. Ability appropriate to capitalize on mood and swings inappropriate to take multiple points of view; [ ] ability to integrate these mood-induced perspectives. Ability to use expressions emotional states to facilitate of emotions problem solving and creativity. III Understanding and analyzing emotional information; employing emotional knowledge Ability to understand how different emotions are related. Ability to perceive the causes and consequences of emotions. Ability to interpret complex emotions, such as emotional blends and contradictory feeling states. Ability to understand and predict likely transitions between emotions. IV Regulation of emotion My poszliśmy pół kroku dalej. Czas pojść dalej! Ability to be open to feelings, both those that are pleasant and those that are unpleasant. Ability to monitor and reflect on emotions. Ability to engage, prolong, or detach from an emotional state, depending upon its judged informativeness or utility. Ability to manage emotion in oneself and others. John D. Mayer and Peter Salovey. What is emotional intelligence?, Emotional Development and Emotional Intelligence:3-31, 1997.

65 Roztropność Komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji 2. Określenie obiektu emocji Następne na liście zadań do zrobienia 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji 4. Weryfikacja kontekstowej adekwatności stopnia (intensywności) wyrażenia emocji 5. Modelowanie emocjoanlnych wzorców behawioralnych

66 Roztropność Komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji 4. Weryfikacja kontekstowej adekwatności stopnia (intensywności) wyrażenia emocji W 5. Modelowanie emocjoanlnych międzyczasie wzorców behawioralnych

67 Roztropność Komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji Do osiągnięcia 2. Określenie obiektu emocji 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji pełnego modelu RK 4. Weryfikacja kontekstowej adekwatności stopnia (intensywności) wyrażenia emocji W 5. Modelowanie emocjoanlnych międzyczasie wzorców behawioralnych jeszcze długa droga

68 Roztropność Komputerowa Gdzie już jesteśmy? 1. Określenie podmiotu emocji 2. Określenie obiektu emocji Ale nareszcie 3. Weryfikacja kontekstowej adekwatności wyrażenia emocji znamy kierunek. 4. Weryfikacja kontekstowej adekwatności stopnia (intensywności) wyrażenia emocji W 5. Modelowanie emocjoanlnych międzyczasie wzorców behawioralnych

69 Dziękuję za uwagę! Michal PTASZYNSKI Department of Computer Science Kitami Institute of Technology 165 Koen-cho, Kitami, , Japan TEL/FAX: