Dopasowanie rozmówców w dialogu w sytuacji stresowej

Podobne dokumenty
Analiza dialogu na potrzeby tworzenia systemów dialogowych. Jolanta Bachan

Synteza mowy (TTS) Rozpoznawanie mowy (ARM) Optyczne rozpoznawanie znaków (OCR) Jolanta Bachan

Transkrypcja fonetyczna i synteza mowy. Jolanta Bachan

Zjawisko dopasowania w sytuacji komunikacyjnej. Patrycja Świeczkowska Michał Woźny

Lingwistyczny system definicyjny wykorzystujący korpusy tekstów oraz zasoby internetowe.

Ewaluacja mowy syntetycznej za pomocą systemu rozpoznawania mowy

Załącznik nr 4 do Zarządzenia Nr.. KARTA KURSU. Nazwa. Język niemiecki B2-3s. Kod Punktacja ECTS* 4

OCENA CELUJĄCA. Słuchanie: Uczeń:

KARTA KURSU. Jezyk angielski B2-2s. English B2-2s. Kod Punktacja ECTS* 3. mgr Anna Fertner

Interaktywne wyszukiwanie informacji w repozytoriach danych tekstowych

Skrócona instrukcja obsługi systemu automatycznego operatora

Komputerowe Systemy Przemysłowe: Modelowanie - UML. Arkadiusz Banasik arkadiusz.banasik@polsl.pl

Załącznik nr 4 do Zarządzenia Nr.. KARTA KURSU. Nazwa. Język angielski B2-2s. Kod Punktacja ECTS* 3

Scenariusz zajęć języka angielskiego w klasie Va Temat: Where is the bank? opis położenia budynków względem siebie.

Analiza wyników egzaminu gimnazjalnego z języka obcego nowożytnego w roku szkolnym 2014/2015

Załącznik nr 4 do Zarządzenia Nr.. KARTA KURSU. Nazwa. Język niemiecki B2-2s. Kod Punktacja ECTS* 3

WYMAGANIA EDUKACYJNE Z JĘZYKA NIEMIECKIEGO DLA KLAS I GIMNAZJUM KRYTERIA OCEN

Program warsztatów CLARIN-PL

Projektowanie Graficznych Interfejsów Użytkownika Robert Szmurło

Kryteria oceniania osiągnięć uczniów w zakresie przedmiotu języka rosyjskiego w klasie I szkoły

Sprawozdanie z działalności Zarządu Głównego Polskiego Towarzystwa Fonetycznego za okres od września 2008 r. do września 2012 r.

PRZEDMIOTOWE ZASADY OCENIANIA z języka angielskiego W KLASACH 1-3

Liczba godzin Punkty ECTS Sposób zaliczenia. lektoraty 30 zaliczenie z oceną

OPISU MODUŁU KSZTAŁCENIA (SYLABUS) Kierunek: Dialog i Doradztwo Społeczne

Jestem turystą, znam język angielski i nie zawaham się go użyć

PRZEDMIOTOWE ZASADY OCENIANIA Z JEZYKA ANGIELSKIEGO KLASY IV-VI SZKOŁA PODSTAWOWA NR 35 W GDYNI

Wymagania edukacyjne na poszczególne oceny dla uczniów klas 1 3.

Wprowadzenie do projektowania i wykorzystania baz danych Projektowanie zasobów językowych

Wymagania edukacyjne z języka niemieckiego w roku szkolnym 2017/2018. Kryteria Oceniania

WYMAGANIA EDUKACYJNE Z JĘZYKA ANGIELSKIEGO DLA KLASY II SZKOŁY PODSTAWOWEJ NR. 319 IM. MARII KANN W WARSZAWIE

Łączenie liczb i tekstu.

Analiza wyników egzaminu gimnazjalnego. Test język obcy nowożytny język angielski (poziom podstawowy) Test GA-P1-122

SPRAWNOŚĆ MÓWIENIA SPRAWNOŚĆ PISANIA GRAMATYKA I SŁOWNICTWO

KATEDRA INFORMATYKI TECHNICZNEJ. Ćwiczenia laboratoryjne z Logiki Układów Cyfrowych. ćwiczenie 204

Informatyka dla klas I wykresy funkcji

Wpływ nowej normy oświetleniowej EN 13201: 2015 na istniejące instalacje oświetleniowe projektów zgodnie z normą PN - EN 13201:2007

PROGRAM KSZTAŁCENIA DLA STUDIÓW PODYPLOMOWYCH: ZINTEGROWANE NAUCZANIE PRZEDMIOTOWO-JĘZYKOWE (JĘZYK ANGIELSKI)

CELE PRAKTYKI ZAWODOWEJ

Lokalizacja Oprogramowania

KRYTERIA OCENIANIA KLASA I KLASA II KLASA III

PRZEDMIOTOWY SYSTEM OCENIANIA Z JĘZYKA ANGIELSKIEGO W KLASACH I-III SZKOŁY PODSTAWOWEJ

MODUŁ KSZTAŁCENIA: Praktyczna nauka języka angielskiego: moduł 3

SZCZEGÓŁOWE KRYTERIA OCENIANIA Z JĘZYKA NIEMIECKIEGO I ANGIELSKIEGO. Klasy IV-VIII. Szkoła Podstawowa w Zdunach

Matematyczne Podstawy Informatyki

ANALIZA WIELOPOZIOMOWA JAKO NARZĘDZIE WSPARCIA POLITYK PUBLICZNYCH

Zad. 3: Układ równań liniowych

Automatyczne tworzenie trójwymiarowego planu pomieszczenia z zastosowaniem metod stereowizyjnych

PRZEDMIOTOWY SYSTEM OCENIANIA Z JĘZYKA ANGIELSKIEGO W GIMNAZJUM IM. ZIEMI ŚLĄSKIEJ W PIECACH

FILM - W INFORMACJI TURYSTYCZNEJ (A2 / B1)

Kryteria oceniania wiadomości i umiejętności z języka angielskiego klasy IV-VI

JĘZYK NIEMIECKI - ZAKRES WYMAGAŃ EDUKACYJNYCH NA POSZCZEGÓLNE OCENY SZKOLNE

Program Logopedia. - opis szczegółowy. Szereg ciszący.

PRZEDMIOTOWY SYSTEM OCENIANIA Z JĘZYKA NIEMIECKIEGO DLA UCZNIÓW UPOŚLEDZONYCH W STOPNIU LEKKIM KLASA I

Opis modułu kształcenia

Opis wymagań na poszczególne oceny z języka angielskiego:

Proporcjonalność prosta i odwrotna

Teoria grafów dla małolatów. Andrzej Przemysław Urbański Instytut Informatyki Politechnika Poznańska

Opisy efektów kształcenia dla modułu

Kody blokowe Wykład 2, 10 III 2011

OCENA CELUJĄCA SPRAWNOŚĆ PISANIA

ZAKRES WYMAGAŃ EDUKACYJNYCH NA POSZCZEGÓLNE OCENY Z JĘZYKA NIEMIECKIEGO Nauczyciel prowadzący: mgr Agnieszka Krzeszowiak, mgr Teresa Jaśkowska

Przedmiotowy System Oceniania. Język angielski klasa IV - VIII

b. umiejętności: 1. student umie komunikować się w sytuacjach związanych z podróżowaniem oraz przez telefon; 2. student potrafi wydawać polecenia;

PRZEDMIOTOWY SYSTEM OCENIANIA Z JĘZYKA ROSYJSKIEGO w GIMNAZJUM Nr 1 im. J. I. Kraszewskiego w Jelnicy w roku szkolnym 2016/2017

Temat szkolenia: Handlowiec, sprzedawca. Czas trwania szkolenia: 30 godziny. Miejsce szkolenia:

MODUŁ KSZTAŁCENIA: Praktyczna nauka języka angielskiego: moduł 1

WYNIKI EGZAMINU GIMNAZJALNEGO Z JĘZYKA ANGIELSKIEGO ROK SZKOLNY 2016/2017

PRZEDMIOTOWY SYSTEM OCENIANIA Z JĘZYKA ANGIELSKIEGO w Szkole Podstawowej w Zespole Szkół im. Marszałka J. Piłsudskiego w Zamieniu

Język angielski poziom B2 English Language B2 level. Informatyka I stopień (I stopień / II stopień) ogólnoakademicki (ogólno akademicki / praktyczny)

USPRAWNIANIE CZYTANIA U UCZNIÓW DYSLEKTYCZNYCH

Wymagania edukacyjne z języka angielskiego dla klasy czwartej

Liczba godzin Punkty ECTS Sposób zaliczenia. lektoraty 30 zaliczenie z oceną

OCENA CELUJĄCA INNE UMIEJĘTNOŚCI I FORMY ROZUMIENIE TEKSTU SPRAWNOŚĆ MÓWIENIA SPRAWNOŚĆ PISANIA GRAMATYKA I SŁOWNICTWO

Pomiary w technice studyjnej. TESTY PESQ i PEAQ

Instrukcja użytkownika TALENTplus

PRZEDMIOTOWE ZASADY OCENIANIA Z JĘZYKA ANGIELSKIEGO I ETAP EDUKACYJNY KLASY I-III

Załącznik nr 4 do Zarządzenia Nr Nr RD/Z /2017 KARTA KURSU. English for Academic Purposes SUM_ B2+s_chemia

1. Ogólne ćwiczenia przygotowawcze

Szkoła Podstawowa w Mycielinie. Język rosyjski. Klasy: 5 6

Załącznik nr 4 do Zarządzenia Nr.. KARTA KURSU. Nazwa. Język angielski B2-3s. Kod Punktacja ECTS* 4

Kryteria oceniania z języka angielskiego w klasie 2 według sprawności językowych GRAMATYKA I SŁOWNICTWO

7. CIĄGI. WYKŁAD 5. Przykłady :

SPRAWNOŚĆ MÓWIENIA SPRAWNOŚĆ PISANIA GRAMATYKA I SŁOWNICTWO

1.1.4 Zasady skutecznego porozumiewania się

Efekt Lombarda. Czym jest efekt Lombarda?

ABSORPCJA FUNDUSZY UNIJNYCH A KONKURENCYJNOŚĆ PRZEDSIĘBIORSTW W POLSCE

WYMAGANIA EDUKACYJNE Z JĘZYKA NIEMIECKIEGO W KLASIE VII PODRĘCZNIK MEINE DEUTSCHTOUR ZAKRES WYMAGAŃ EDUKACYJNYCH NA POSZCZEGÓLNE OCENY SZKOLNE

I N S T R U K C J A O B S Ł U G I P L AT F O R M Y E N E R G I A S P O Ł E C Z N A. Spis treści

Dopuszczający Dostateczny Dobry Bardzo dobry Celujący W zakresie czytania ze zrozumieniem uczeń

ZAKRES WYMAGAŃ EDUKACYJNYCH NA POSZCZEGÓLNE OCENY SZKOLNE Z JĘZYKA NIEMIECKIEGO DLA KLAS I III POZIOM PODSTAWOWY I ROZSZERZONY

Wymagania edukacyjne klasa 7 ( nowa podstawa programowa ) j. niemiecki

Język niemiecki. Sprawność ta jest rozwijana za pomocą zadań zamkniętych oraz półotwartych, jak m.in.:

KRYTERIA OCENIANIA KLASA I KLASA II KLASA III

z języka angielskiego (IV-VIII)

pojawianie się na drodze - z prawdopodobieństwem alf a nowe auto pojawia się na początku ulicy z pewną prędkością początkową

Przedmiotowy system oceniania z języka niemieckiego

Transkrypt:

Jolanta Bachan Instytut Językoznawstwa Dopasowanie rozmówców w dialogu w sytuacji stresowej 1. Zjawisko dopasowania Zjawisko dopasowania (ang. alignment), zwane również akomodacją lub konwergencją, związane jest z teorią akomodacji komunikacji (ang. Communication Accommodation Theory, CAT, Giles et al. 1991), według której konwersacja jest dynamicznym procesem dopasowywania się rozmówców do siebie w dialogu. Forma, stopień oraz charakter dopasowania są zależne od sytuacji komunikacyjnej oraz relacji między uczestnikami dialogu. Inne dopasowanie odbywa się między bliskimi przyjaciółmi, a inne między osobami, które rozmawiają ze sobą po raz pierwszy. Ważne miejsce w naszych rozważaniach nad dopasowaniem poświęcone jest kooperatywnemu niedopasowaniu (ang. non-alignment), szczególnie na płaszczyźnie emocjonalnej w sytuacji stresowej. W niniejszej pracy podjęto próbę wykazania, że dopasowanie stanów emocjonalnych rozmówców nie jest konieczne w komunikacji, a raczej może zaburzyć przebieg dyskursu w sytuacji stresowej. Kooperatywne niedopasowanie polega na tym, że pomimo niedopasowania na poziomie emocjonalnym interlokutorzy są w stanie doskonale się porozumiewać i wymieniać informacje, a nawet jeden drugiego potrafi uspokoić, jeśli ten jest zdenerwowany. Dopasowanie oznacza adaptację stylu mowy, słownictwa, wymowy, gestów oraz ruchów ciała rozmówców do siebie w dialogu (np. Giles et al. 1991, Pickering, Garrod 2004). Przykład dopasowania na poziomie leksykalnym w dialogu opartym na zadaniu z mapą jest przedstawiony poniżej, gdzie A to mówczyni w sytuacji stresowej, a B to osoba, która podąża trasą opisywaną przez mówczynię A (przykład pochodzi z korpusu omówionego w dalszej części artykułu): A: [...opis drogi...] Przy rondzie są roboty, więc trzeba będzie je objechać [...opis drogi...]. B: Może Pani powtórzyć. Nie widzę tutaj ronda po drodze.

24 JOLANTA BACHAN A: Znaczy... rondo, to jest taki, taki okrągły kwietnik. [yyy] jest [yyy] między sklepem a lodziarnią. [...opis drogi...] A: Następnie objechać rondo ten taki okrągły kwietnik. B: Czyli po tym jak skręcę w prawo... A: Tak. B: Muszę jeszcze skręcić w lewo, żeby dojechać do tego kwietnika. A: Tak, tak, tak. Jestem dość zdenerwowana iii iii wszystko... wszystko wydaje mi się takie... Przykro mi. B: Dobrze. Proszę się uspokoić. Czyli na rondzie gdzie muszę skręcić? A: [yyy][um] Na rondzie musi Pani [yyy] na rondzie musi Pani skręcić w [y] obok lodziarni [...opis drogi...]. W dialogu tym mówczyni A, która daje instrukcje mówczyni B, jak dojechać do szpitala, wskazuje na roboty przy rondzie. Niestety mówczyni B nie widzi ronda, więc mówczyni A definiuje je jako okrągły kwietnik. Mówczyni B używa określenia kwietnik, po czym obie rozmówczynie wracają do wyrazu podstawowego rondo. Dla zobrazowania dopasowania Pickering i Garrod (2004: 175) stworzyli interaktywny model dopasowania (ang. Interactive Alignment Model), który opisują tymi słowami: the interactive alignment model assumes that successful dialogue involves the development of aligned representations by the interlocutors. This occurs by priming mechanisms at each level of linguistic representation, by percolation between the levels so that alignment at one level enhances alignment at other levels, and by repair mechanisms when alignment goes awry. Rys. 1. Schemat interaktywnego modelu dopasowania (Pickering, Garrod 2004: 176)

Dopasowanie rozmówców w dialogu w sytuacji stresowej 25 Te lingwistyczne reprezentacje, o których piszą Pickering i Garrod, to reprezentacje fonetyczne, fonologiczne, leksykalne, syntaktyczne, semantyczne oraz model sytuacyjny, dla których zachodzi zjawisko dopasowania. Interaktywny model dopasowania sugeruje, że istnieją bezpośrednie połączenia pomiędzy różnymi poziomami reprezentacji, jednak wydaje się to niemożliwe, gdyż komunikujemy się dzięki kodowi: produkcji języka, gestów i pisma, oraz jego dekodowaniu. Rys. 1 przedstawia schemat interaktywnego modelu dopasowania. A i B reprezentują rozmówców w wymianie słownej (oscylogram na dole reprezentuje sygnał mowy), a połączenia poziome wskazują na zjawisko dopasowania dzięki mechanizmowi prymowania. Niniejszy artykuł przedstawia pracę nad wzajemnym dopasowaniem uczestników dialogu, nie tylko w komunikacji człowieka z człowiekiem, ale także człowieka z komputerem. Metoda opiera się na wykorzystaniu scenariusza zadania z mapą w sytuacji stresowej nagłego wypadku oraz dowiedzeniu tezy, że dopasowanie reprezentacji semantycznych jest niezbędne do pomyślnej komunikacji w dialogu. Na potrzeby weryfikacji koncepcji stworzono pokazowy system dialogowy oparty na głównych twierdzeniach i łączący komunikację pisemną i mówioną. Na końcu pracy zostaną zaprezentowane wyniki wstępnej analizy dopasowania fonetycznego dwóch rozmówców oraz plany dalszych badań. 2. Stworzenie korpusu dialogów Na potrzeby badań nad dopasowaniem mowy w okolicznościach kryzysowych w sytuacji publicznej (Batliner et al. 2008) został zaprojektowany i nagrany korpus dialogów. Stworzone zostały diapixy 1 oraz mapa do nagrania dialogów w warunkach stresowych. Dla porównania stworzono mapę oraz zmodyfikowano istniejący diapix dla języka angielskiego (Bradlow et al. 2007, Lewandowski 2012), aby nagrać dialogi w warunkach neutralnych. Nagrano 12 par osób, które się nie znały lub były w relacji przełożony- -podwładny, oraz 3 pary kontrolne dobrych przyjaciół. Każda z tych par przeprowadziła 4 dialogi 2 w warunkach stresowych oraz 2 w warunkach neutralnych. Do korpusu nagrano również neutralną mowę czytanego tekstu. Łącznie korpus zawierał dialogi oraz czytany tekst 30 osób o długości nagrań 4 godz. 12 min (Bachan 2011). 1 Diapixy to dwa obrazki, które różnią się szczegółami, a zadaniem uczestników dialogu jest odnalezienie tych różnic.

26 JOLANTA BACHAN 3. Pokazowy system dialogowy Lingwistyczna analiza dopasowania mówców w korpusie dialogów zadania z mapą w sytuacji nagłego wypadku pozwoliła stworzyć scenariusz dialogowy na potrzeby pokazowego systemu dialogowego. Zaprojektowano i stworzono system dialogowy oparty na dwóch automatach skończenie stanowych, który łączy tekst na wejściu i mowę syntetyczną na wyjściu. 3.1. Synteza mowy Na potrzeby modułu syntezy mowy prototypowego systemu dialogowego stworzony został syntetyczny głos difonowy PL2 dla syntezatora mowy MBROLA (Dutoit et al. 1996). W tym celu zostały przeszukane istniejące bazy nagrań i bazy tekstowe, aby znaleźć jak największą liczbę difonów języka polskiego. Stworzono również własną bazę tekstów pochodzących z wiadomości internetowych, która po przetworzeniu zawierała ok. 21 808 zdań i fraz. Ponieważ poszukiwania nie przyniosły zadowalających efektów, opracowany został program do selekcji bogatych fonetycznie zdań. Wyselekcjonowanych zostało 211 zdań zawierających 1008 difonów z 10451 zdań pochodzących z bazy BOSS (Demenko et al. 2007) i bazy Jurisdict (Demenko et al. 2008). Dodatkowo napisano 156 krótkich nowych fraz z brakującymi difonami. Cały materiał został nagrany oraz poanotowany automatycznie i ręcznie na poziomie głosek. Następnie za pomocą narzędzia do automatycznej ekstrakcji difonów, stworzonego na potrzeby tego zadania, powstał głos męski PL2 dla syntezatora mowy MBROLA. Głos ten został pozytywnie oceniony przez uczestników testów percepcyjnych oraz posłużył do wygenerowania wypowiedzi syntetycznych pokazowego systemu dialogowego. 3.2. Dopasowanie i niedopasowanie w komunikacji człowiek-komputer Dialog pomiędzy użytkownikiem a systemem dialogowym oparty jest na zadaniu z mapą, w którym obie mapy różnią się nieznacznie. Użytkownik systemu widzi mapę z wyznaczonym początkiem i końcem trasy oraz nazwami ulic oznaczonymi literami alfabetu. Wszystkie ulice są przejezdne oraz dwukierunkowe. Natomiast system dialogowy widzi punkt początkowy oraz przeszkody na drodze niewidoczne dla uczestnika eksperymentu. Różnice zostały wprowadzone po to, aby doprowadzić do nieporozumienia (ang. misalignment) na poziomie reprezentacji semantycznych map.

Dopasowanie rozmówców w dialogu w sytuacji stresowej 27 Zadaniem użytkownika jest poprowadzenie systemu od szpitala do osoby z zawałem serca oraz negocjacji drogi, jeśli jakaś ulica byłaby nieprzejezdna dla systemu. Mapa jest przedstawiona na rys. 3. 3.3. Mapa jako automat skończenie stanowy Mapa wykorzystana w scenariuszu nagłego wypadku może być przedstawiona jako automat skończenie stanowy, w którym każde skrzyżowanie odpowiada stanowi przejścia automatu. Nie wszystkie skrzyżowania są przejezdne i dostępne dla systemu. Na trasie system napotyka na korek, roboty drogowe, a nawet wyścig szkolny. Te zablokowane skrzyżowania nie zostały uwzględnione w tworzeniu automatu skończonego dla zadania z mapą. Rys. 2 przedstawia mapę z zaznaczonymi potencjalnymi stanami przejścia oraz prawidłowy automat skończenie stanowy systemu dialogowego do przemieszczania się po mapie. q0 to stan początkowy, q13 to stan końcowy, a litery alfabetu odpowiadają symbolom przejścia pomiędzy stanami. Rys. 2. Mapa jako podstawa stworzenia automatu skończonego do przemieszczania się po mapie

28 JOLANTA BACHAN 3.4. Projektowanie oraz implementacja systemu dialogowego Pokazowy system dialogowy oparty jest na zadaniu z mapą w warunkach stresowych. Prototyp systemu dialogowego łączy tekst na wejściu i mowę syntetyczną na wyjściu (konfiguracja TISO, Text-In-Speech-Out), a motor dialogu oparty jest na dwóch połączonych automatach skończenie stanowych: jeden dla menadżera dialogu i jeden do przemieszczania się po mapie. Rys. 4 przedstawia architekturę pokazowego systemu dialogowego, która zawiera moduł wyboru stylu mowy (formalnego lub nieformalnego), analizator tekstu, menadżera dialogu oraz interfejs użytkownika (mowę syntetyczną, mapę i pole tekstowe do wpisywania wypowiedzi użytkownika). Automat skończenie stanowy menadżera dialogu z przykładowymi wypowiedziami jest zaprezentowany na rys. 5. Automat menadżera dialogu opiera się na połączeniu dwóch automatów: górnego dla systemu dialogowego i dolnego dla użytkownika. Zmiany przejmowania głosu przez interlokutorów są zaznaczone strzałkami z linią przerywaną kreskową. Strzałki czerwone z linią kropkowo-kreskową oraz lokalne pętle wskazują na fragmenty dialogu, w których tekst użytkownika nie jest zgodny z oczekiwanym przez system. Model dialogu jest podzielony na trzy sekcje: otwarcie dialogu, opis drogi i pożegnanie. Rys. 3. Mapa zaprezentowana użytkownikowi w dialogu z komputerem

Dopasowanie rozmówców w dialogu w sytuacji stresowej 29 Rys. 4. Architektura systemu dialogowego 3.5. Ewaluacja systemu Ewaluacja systemu w warunkach laboratoryjnych i rzeczywistych z ok. 130 użytkownikami potwierdziła dopasowanie rozmówców na poziomie reprezentacji semantycznych map, ponieważ wszyscy użytkownicy wykonali zadanie pomyślnie. Dodatkowo dopasowanie systemu dialogowego było oparte na wyborze stylu mowy: formalnego lub nieformalnego. 52 osoby zostały poproszone o ocenę systemu w kategoriach: przyjazność, jakość mowy, zrozumiałość mowy, dialog, naturalność dialogu, atrakcyjność systemu oraz łatwość użytkowania. Ocena przyznawana była w skali MOS (ang. Mean Opinion Score) od 1 do 5, gdzie 5 była oceną najwyższą. System uzyskał średnią ocenę 4,11 dla dialogu ze stylem formalnym oraz 4,30 dla dialogu nieformalnego. Moduł wyboru stylu mowy udowodnił twierdzenie, że tradycyjne modele mowy emocjonalnej stosowane w syntezie mowy mogą być zastąpione przez styl mowy w systemie dialogowym. Taki system nie tylko bierze pod uwagę warunki komunikacji w sytuacji publicznej, ale również dopasowuje się na tych samych poziomach, tj. nie emocjonalnym, ale semantycznym, syntaktycznym i pragmatycznym. W tabeli 1 zaprezentowany jest przykładowy dialog użytkownika z systemem dialogowym.

30 JOLANTA BACHAN Rys. 5. Automat menadżera dialogu z przykładowymi wypowiedziami Tabela 1. Przykładowy dialog użytkownika z pokazowym systemem dialogowym 2 System Dzień dobry! Witam! Jak się nazywasz? Kobieta czy mężczyzna? Drukowany tekst: k / m A wie Pani gdzie jest szpital? No to dobrze. To jeżeli mogłaby Pani wyjaśnić drogę, to bardzo bym prosił. Tak, okej. Aha, czyli rozumiem muszę przejechać prosto. A potem? Użytkownik No chyba coś się musiało zmienić. Nie mogę tam.? Drukowany tekst: Karetka jest tu: q10 (wyświetlona zostaje mapa ze stanami) [e-e] Nie, nie ma właśnie wejścia tam. [e-e] Nie, nie ma właśnie wejścia tam. Aha, aha, aha, dobrze. I wtedy? Dobrze, dobrze, oczywiście. No postaramy się. W razie czego będziemy jeszcze dzwonić. Także... Proszę czekać. Niedługo przyjeżdżamy. Dziękuję. Anna 2 Litery alfabetu w kolumnie Użytkownik oznaczają nazwy ulic, którymi ma się poruszać system; co powtórz ostatnią wypowiedź;? pokaż, w którym miejscu jest obecnie karetka. k tak f k p r r co s u w

Dopasowanie rozmówców w dialogu w sytuacji stresowej 31 4. Dopasowanie fonetyczne W celu zbadania dopasowania fonetycznego poanotowane zostały 3 dialogi na poziomie sylab. Do analizy wybrane zostały dialogi pomiędzy mężczyznami, w których obaj mówcy byli bardzo aktywni tzn. zarówno mówca A, który daje instrukcje, jak i mówca B, który podąża wzdłuż opisywanej trasy, odzywają się często w tym wypadku mówca B potwierdza lub zaprzecza zrozumienie instrukcji. Ogółem długość poanotowanego materiału wynosiła 552,5 s (9 min 12,5 s). W tabeli 2 zaprezentowane są oscylogramy trzech dialogów, na których widać aktywny udział słowny obu mówców. Oscylogram górny to zapis mowy mówcy B, a dolny to mowa mówcy A. Każdy dialog rozpoczyna mówca A, gdzie pyta, czy dodzwonił się na pogotowie ratunkowe. Następnie mówca B odpowiada i mówca A przechodzi do wydawania instrukcji. W nagraniu dialogu 1 wzięli udział kierowca taksówki oraz ratownik medyczny, który na co dzień pracuje w karetce pogotowia ratunkowego. Widać na oscylogramie, że udział mówcy B w początkowej fazie dialogu jest większy niż w pozostałych dwóch dialogach. W dialogu 1 mówca B po krótkim powitaniu prosi mówcę A, aby się uspokoił, a następnie pyta o charakterystyczne punkty w okolicy ( Pogotowie, słucham?, Dobrze, dobrze. Spokojnie., Spokojnie, spokojnie. To niech Pan wytłumaczy, tak? To gdzie się Pan znajduje teraz? Na jakiej ulicy?,..., A czy widzi Pan jakiś charakterystyczny punkt, na przykład szkołę, restaurację? ). W dialogu 2 pomiędzy młodym studentem a doktorantem, który jest również wykładowcą akademickim, doktorant, mówca B, używa bardzo grzecznościowych sformułowań i jego wypowiedzi są dłuższe niż wypowiedzi mówcy B w dialogu 3 ( Tak. Dzień dobry. Witam., Dobrze, dobrze, oczywiście., A wie pan gdzie jest szpital?, No to dobrze, to jeżeli by mógł Pan wyjaśnić to bardzo bym prosił. ). W dialogu 3 mówca B odpowiada na powitanie ( Tak, słucham? ), po czym niepewnie pyta, gdzie się znajduje mówca A i jak do niego dotrzeć ( Jak... Gdzie się Pan znajduje teraz... i jak dostać się na miejsce? ). Opis trzech dialogów pokazuje, jak doświadczenie w pracy wpływa na zachowanie w stresującej sytuacji. Analiza dialogów na poziomie sylab została przeprowadzona za pomocą narzędzia TGA: Time Group Analyser Version 2.9 3. Narzędzie TGA oblicza wartość indeksu npvi (ang. normalised Pairwise Variability Index; Low et al. 2000) oraz współczynniki a i b regresji liniowej: y = ax + b, gdzie a określa nachylenie (ang. slope), a b wyznacza miejsce zerowe na osi (ang. intercept). Obliczenie mediany nachylenia i miejsca zerowego, w przeciwień- 3 Użycie mediany (aby wykluczyć wartości ekstremalne) oraz współczynników nachylenia i wartości zerowej zostało zaproponowane autorce przez Dafydda Gibbona (w prywatnej rozmowie), który udostępnił również wstępną wersję oprogramowania TGA.

32 JOLANTA BACHAN stwie do wartości średnich, powoduje wykluczenie wartości skrajnych w zbiorze. Indeks npvi jest miarą płynności, tj. równości iloczasu. Wzór npvi oblicza płynność na podstawie obliczenia średnich różnic czasu trwania sąsiadujących jednostek w korpusie (głównie głosek lub sylab). Różnice iloczasów są dzielone przez średnie wartości iloczasu dwóch sąsiadujących jednostek. Taka normalizacja służy redukcji efektu różnic tempa mowy. Wyniki analizy dialogów zaprezentowane są w tabeli 3. Wyniki npvi dla wszystkich mówców są zbliżone, przy czym wartości mówców A są niższe od mówców B w dialogach. Wartości średnie i mediana miejsca zerowego są zbliżone bardziej dla mówców A, co wskazuje na to, że mówcy A mówili w stałym tempie, podczas gdy wysokie wartości nachylenia dla mówców B wskazują na to, że mówcy B bardzo zwalniali swoje wypowiedzi bliżej końca. Niskie wartości średnie, a także ujemne wartości mediany nachylenia mówców A wskazują na mniejsze spowolnienia, a nawet przyspieszenia pod koniec wypowiedzi. Czas Tabela 2. Oscylogramy trzech dialogów Dialog 3 Dialog 2 Dialog 1 Oscylogram górny mówca B, oscylogram dolny mówca A

Dopasowanie rozmówców w dialogu w sytuacji stresowej 33 Ponieważ wartości analizy TGA miejsca zerowego dla mówcy A w dialogu 2 różnią się w znacznym stopniu od wartości mówcy B oraz innych mówców, anotacja sylab mówcy A została zmodyfikowana i poddana ponownej analizie. Mówca A w dialogu 2 mówił szybko i czasami niewyraźnie, dlatego niezrozumiane fragmenty oznaczone początkowo jako niezrozumiałe (znacznik #$j), zostały zamienione na znaczniki pauz. Również znaczniki dźwięków mówcy (spk_noise) i wypełnione pauzy (filled_pause) zostały zamienione na pauzy. Tak zmodyfikowana anotacja została poddana ponownej analizie TGA, która przyniosła następujące wyniki: sylaby = 473; pauzy = 113; sylaby + pauzy = 586 średnie npvi = 44 średnia miejsca zerowego = 140,74; mediana miejsca zerowego = 131,0 średnia nachylenia = 36,28; mediana nachylenia = 13,0 Te nowe wyniki dla mówcy A są bardzo zbliżone do wyników mówcy B w kategoriach: średnia miejsca zerowego, mediana miejsca zerowego oraz średnia nachylenia. Zaprezentowana analiza fonetyczna dialogów jest wstępna i wymaga dalszych badań. Wyniki badań na większej liczbie danych mogą wykazać, że wartości analizy TGA dla dzwoniących na pogotowie (mówcy A) oraz osoby odbierającej telefon (mówcy B) są bardziej zbliżone do siebie w jednym dialogu niż mówców A i mówców B w różnych dialogach. Tabela 3. Ilościowy przegląd wzorców czasowych w dialogach Dialogi i czas trwania Dialog 1 170,4 s Dialog 2 156,5 s Dialog 3 225,6 s Rozmówcy mówca A mówca B mówca A mówca B mówca A mówca B Wiek 30 29 19 28 22 25 Informacje o mówcy kierowca taksówki ratownik medyczny student doktorant student magistrant Sylaby 550 276 551 254 800 230 Pauzy 47 48 35 30 84 45 Sylaby + pauzy 597 324 586 284 884 275 Średnia npvi 40 47 55 56 48 56 Średnia miejsca zerowego Mediana miejsca zerowego 172,13 187,97 218,04 125,9 183,93 167,08 170,38 155,29 219,0 117,43 158,0 142,5 Średnia nachylenia 5,98 67,08 20,73 38,23 25,92 56,55 Mediana nachylenia -0,06 21,85-0,23 14,07 4,92 21,52

34 JOLANTA BACHAN 5. Podsumowanie Celem niniejszej pracy było omówienie zjawiska dopasowania oraz zaprezentowanie pokazowego systemu dialogowego do weryfikacji koncepcji o dopasowaniu semantycznym interlokutorów jako warunku niezbędnym do pomyślnej komunikacji. System oparty był na głównych twierdzeniach i połączył komunikację pisemną z mówioną. Celem nie był rozwój pełnego funkcjonalnego systemy dialogowego spełniającego standardy inżynierskie. Ewaluacja systemu z ok. 130 użytkownikami potwierdziła dopasowanie rozmówców na poziomie reprezentacji semantycznych map, ponieważ wszyscy użytkownicy wykonali zadanie pomyślnie. Ponadto dopasowanie opierało się na doborze stylu mowy, stylu formalnego bądź nieformalnego, a nie na emocjach. W końcowej części artykułu przedstawiono wstępne wyniki przeglądu ilościowego dopasowania fonetycznego mówców, opartego na badaniach wzorców czasowych. Analiza relacji czasowych mowy w kontekście dopasowania interlokutorów w dialogu będzie przedmiotem dalszych badań autorki. BIBLIOGRAFIA Bachan, J. 2011. Communicative alignment of synthetic speech. Rozprawa doktorska. Instytut Językoznawstwa. Uniwersytet im. Adama Mickiewicza w Poznaniu. Batliner, A., Steidl, S., Hacker, Ch. i E. Nöth. 2008. Private emotions versus social interaction: a data-driven approach towards analysing emotion in speech. User Modelling and User-Adapted Interaction The Journal of Personalization Research 18. 175-206. Bradlow, A.R., Baker, R.E., Choi, A., Kim, M. i K.J. van Engen. 2007. The wildcat corpus of native- and foreign-accented English. Journal of the Acoustical Society of America 121(5), Pt.2. 3072. Demenko, G., Klessa, K., Szymański, M. i J. Bachan. 2007. The design of Polish speech corpora for speech synthesis in BOSS system. W zbiorze: Proceedings of XII Sympozjum Podstawowe Problemy Energoelektroniki, Elektromechaniki i Mechatroniki (PPEEm 2007). Wisła. 253-258. Demenko, G., Grocholewski, S., Klessa, K., Ogorkiewicz, J., Wagner, A., Lange, M., Śledziński, D. i N. Cylwik. 2008. JURISDIC: Polish speech database for taking dictation of legal texts. W zbiorze: Proceedings of the Sixth International Language Resources and Evaluation (LREC 08). 28 30 maja 2008. Marrakesz, Maroko. 1280-1287. Dutoit, T., Pagel, V., Pierret, N., Bataille, F. i O. van der Vrecken. 1996. The MBROLA Project: towards a set of high-quality speech synthesizers free of use for noncommercial purposes. W zbiorze: Proceedings of ICSLP 96. Vol. 3. Filadelfia. 1393-1396. Gibbon, D. 2013. Time Group Analyser Version 2.9, niepublikowane oprogramowanie.

Dopasowanie rozmówców w dialogu w sytuacji stresowej 35 Giles, H., Coupland, N., i J. Coupland. 1991. Accommodation theory: communication, context, and consequence. W zbiorze: Giles, H., Coupland, J. i N. Coupland (red.). Contexts of accommodation: developments in applied sociolinguistics. Cambridge: Cambridge University Press. 1-68. Lewandowski, N. 2012. Talent in nonnative phonetic convergence. Rozprawa doktorska. Universität Stuttgart. <http://elib.unistuttgart.de/opus/volltexte/2012/7402/>, 5.03.2013. Low, L., Grabe, E. i F. Nolan. 2000. Quantitative characterisations of speech rhythm: Syllable-timing in Singapore English. Language and Speech 43. 377-401. Pickering, M.J. i S. Garrod. 2004. Toward a mechanistic psychology of dialogue. Behavioral and Brain Sciences 27. 169-225.

36 JOLANTA BACHAN