Training Interpersonal Communication Skills Through Natural Language Interaction with Autonomous Virtual Characters
Project information
Abstract: 

The goal of the deLearyous project is the development of a 3D serious video game where players can practice their communication skills by interacting with a virtual character. The trainee talks to the virtual character by typing in sentences in Dutch. The software then has to interpret these sentences and determine the appropriate reaction for the virtual character.

The virtual character's response follows a communication model known as the Interpersonal Circumplex (AKA "Leary's Rose", after Timothy Leary who developed the framework in 1957). Every utterance in conversations or negotiations can be position on this Rose according to the speakers state of mind (is the speaker friendly or hostile, dominant or submissive...). The state of mind of the speaker also has a strong influence on the listener's state of mind. With a thorough understanding of the Interpersonal Circumplex, it is thus possible for the speaker to guide the listener to a disposition that is more favorable to his goals. deLearyous will offer trainees an interactive and fun way to acquaint themselves with Leary's Rose and to develop their interpersonal communication skills.

Natural language processing plays an important part in the deLearyous project, as the position of the speaker on Leary's Rose has to be determined automatically on the basis of the Dutch text input. It is also necessary to extract and track topic information so the virtual character can be guided down the correct conversation path. Automatic emotion classification especially is an new and interesting research topic, and most of the research in the deLearyous project focuses on this topic.

Abstract Dutch: 

Het doel van het deLearyousproject is de ontwikkeling van een 3D game waarbij de gebruiker of trainee geconfronteerd worden met een virtueel personage dat de rol van een moeilijke klant speelt. De trainee interageert met deze virtuele klant door Nederlandse zinnen in te typen. De software moet deze zinnen kunnen interpreteren en de passende reactie van het virtueel personage bepalen.

De interactie tussen gebruiker en virtueel personage gebeurt uiteraard niet willekeurig, maar is gebaseerd op een communicatiemodel dat bekend staat als het Interpersoonlijk Circumplex (ook wel de “Roos van Leary”, naar Timothy Leary, die het model in 1957 op papier zette). Elke uiting in een conversatie of onderhandeling kan een plaats gegeven worden op deze Roos, afhankelijk van de gemoedstoestand van de spreker (zo kan een spreker samen- of tegenwerken, een dominante of onderdanige positie innemen etc.). De positie van de spreker op de Roos kan ook helpen voorspellen hoe zijn conversatiepartner zal reageren. Met een goede kennis van het Interpersoonlijk Circumplex is het dus mogelijk om de reactie van je gesprekspartner te sturen in de gewenste richting. Dankzij deLearyous zullen gebruikers dus op een interactieve manier kennis kunnen maken met de Roos van Leary en zo hun interpersoonlijke communicatievaardigheden verder ontwikkelen.

Natuurlijke taalverwerking speelt een belangrijke rol in het deLearyous project. Zo moet de positie die de gebruiker op de Roos van Leary inneemt automatisch bepaald worden op basis van de ingegeven tekst. Verder moet ook topic informatie geëxtraheerd en bijgehouden worden zodat het dialoog met het virtuele personage correct gestuurd kan worden. Vooral automatische emotieclassificatie is een nieuw en interessant researchtopic, en een groot deel van het onderzoek spitst zich dus hier op toe.

Project Leader(s): 
Walter Daelemans
Period: 
01/01/2010 - 31/12/2012
Sponsor(s): 

TETRA/IWT

Publications + Talks

Vaassen, F., & Daelemans W. (2011).  Automatic Emotion Classification for Interpersonal Communication. Presented at the 2nd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis (WASSA 2.011).
Vaassen, F., & Daelemans W. (2011).  Automatic Emotion Classification for Interpersonal Communication. 2nd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis (WASSA 2.011). PDF
Vaassen, F., & Daelemans W. (2010).  Emotion Classification in a Serious Game for Training Communication Skills. Presented at the 20th Meeting of Computational Linguistics in the Netherlands (CLIN20), Utrecht, The Netherlands.
Syndicate content