End users’ Interactions with ChatGPT: Its impact on trust and emotion

Abstract

Interactions with Artificial Intelligence are becoming increasingly integrated into everyday life, raising fundamental questions about how users build trust and emotional responses when engaging with conversational agents. Grounded in the active inference framework, this research explores how trust emerges through users’ predictive processes when interacting with Large Language Models. The work comprises two consecutive studies. Study One developed and assessed prompt characteristics and types of interaction through a mixed qualitative–quantitative approach. Using thematic analysis and lay users’ evaluations, 12 prompts were selected and classified as either task-oriented or reflexive, ensuring comparable complexity and suitability for non-expert populations. Building on these findings, the Main Study investigated whether the type of interaction (task-oriented vs. reflexive) with ChatGPT had an effect on trust, and whether this effect was explained by predictability. Additionally, it examined the relationship between prediction accuracy and emotional responses. A quantitative pre–post experimental design was employed, with a 2 (interaction type) × 2 (group) structure and both within- and between-subjects comparisons. Participants engaged with ChatGPT, using the pilot-tested prompts from Study One, and completed self-assessments before and after each interaction. Results showed that type of interaction has an effect on trust and that predictability explained variations in trust, specifically for second interactions. Emotional responses were found to be significantly correlated with prediction accuracy just for reflexive interactions, suggesting that reflexive interactions might be novel types of conversations with ChatGPT that potentiate trust and emotional responses. Together, these findings suggest that interaction type and predictability might shape trust and emotion in human–Artificial Intelligence interactions, advancing the integration of active inference and Human–Computer Interaction research.

Interações com Inteligência Artificial estão a tornar-se cada vez mais integradas na vida quotidiana, levantando questões fundamentais sobre a forma como os utilizadores constroem confiança e são geradas respostas emocionais ao interagir com agentes conversacionais. Com base no enquadramento teórico da inferência ativa, esta investigação explora como a confiança emerge a partir dos processos preditivos dos utilizadores quando interagem com Modelos de Linguagem de Grande Escala. O trabalho compreende dois estudos consecutivos. O Estudo Um desenvolveu e avaliou características dos prompts, incluindo os tipos de interação que promovem, através de uma abordagem mista. Recorreu-se a uma análise temática e à avaliação por utilizadores não técnicos, resultando na seleção de 12 prompts classificados como task-oriented (orientados para tarefas) ou reflexive (reflexivos), avaliando níveis comparáveis de complexidade e adequação a uma população não especializada. Com base nestes resultados, o Estudo Principal investigou se o tipo de interação (orientada para tarefas vs. reflexiva) com ChatGPT tinha efeito na confiança e se esse efeito era explicado pela previsibilidade. Adicionalmente, examinou-se a relação entre a precisão das predições e as respostas emocionais. Foi utilizado um desenho experimental quantitativo pré-pós, com uma estrutura de 2 (tipo de interação) × 2 (grupo) e comparações intra e inter grupos. Os participantes interagiram com ChatGPT, utilizando os prompts avaliados no Estudo Um, completando inquéritos por questionário antes e depois de cada interação. Os resultados indicaram que o tipo de interação teve efeito na confiança e que a previsibilidade explicou variações na confiança, especificamente nas segundas interações. As respostas emocionais revelaram correlações significativas com a precisão das predições apenas nas interações reflexivas, sugerindo que este tipo de interação pode constituir uma nova forma de interação com ChatGPT que potencia confiança e resposta emocional. Em conjunto, estes resultados sugerem que o tipo de interação e a previsibilidade moldam a confiança e a emoção nas interações humano–Inteligência Artificial, contribuindo para a integração da inferência ativa na investigação sobre Interação Humano–Computador.