Improving player experience in negotiation focused games with LLMs and non verbal communication

Abstract

With the rapid development of Artificial Intelligence over the years, the research around Large Language Models (LLMs) regarding their generative capabilities has expanded to diverse areas, including human negotiation and games. As LLMs become more versatile and complex, they have the potential to replace traditional dialogue systems used currently in games with natural language dialogue, between the player and Non Playable Characters (NPCs), to deepen the immersion. As human communication is multi-modal, by making the LLMs choose non verbal cues to accompany their text, the negotiations that occur in game become more realistic. For the purpose of testing LLMs’ generative abilities, this dissertation presents a game in which the player interacts with the NPCs in four different ways depending on whether they use LLMs to communicate or a simple dialogue system, and whether they use non verbal cues or not. The game was tested with 30 participants, who compared and evaluated the different ways of interacting with the NPCs. The results showed that the interactions that were made through natural language dialogue, with the use of LLMs, were preferred over reactive dialogue systems. The results also show that the presence of non verbal cues on the interactions were not as impactful as the presence of LLMs. The obtained results indicate that using LLMs to handle the communication between the player and the NPCs successfully improves the player’s experience. They also indicate that the game research area can benefit with the advancements on LLMs’ research.

Com o rápido avanço da Inteligência Artificial ao longo dos anos, a pesquisa em torno das capacidades generativas dos "Large Language Models" (LLMs) expandiu-se para diversas áreas, incluindo a negociação e os jogos. Com o aumento da versatilidade e complexidade dos LLMs, eles têm o potencial de substituir os sistemas de diálogo utilizados atualmente em jogos por diálogos em linguagem natural, entre o jogador e os "Non Playable Characters" (NPCs), melhorando a imersão. Como a comunicação humana é multimodal, os LLMs podem ser utilizados para escolher gestos para acompanhar o seu texto para tornar as negociações ocorridas em jogos mais realistas. Com o intuito de testar as capacidades generativas dos LLMs, nesta dissertação um jogo foi desenvolvido em que o jogador interage com os NPCs de quatro maneiras diferentes, dependendo se usa ou não os LLMs na comunicação, e se usa ou não gestos. Este jogo foi testado com 30 participantes, que compararam e avaliaram as diferentes maneiras de interação com os NPCs. Os resultados demonstram que as interações que ocorreram com linguagem normal, através do uso dos LLMs, foram melhor avaliadas que os sistemas de diálogo. Os resultados demonstram também que a presença dos gestos não foi tão impactante como a presença dos LLMs. Os resultados obtidos indicam que o uso de LLMs nas comunicações entre o jogador e os NPCs melhora a experiência do jogador. Indicam também que a área de pesquisa dos jogos pode beneficiar com os avanços da pesquisa dos LLMs.