Impact of cinematic aspects on ratings: A sentiment analysis of movie reviews

Abstract

Online movie reviews constitute a valuable source of audience feedback, yet their evaluative richness often exceeds the scope of overall sentiment analysis. Aspect-Based Sentiment Analysis (ABSA) provides a finer-grained approach by linking sentiments to specific cinematic dimensions. This dissertation investigates which aspects of films most strongly influence audience ratings, addressing the research question through a systematic, multi-phase methodology. A dataset of 1,000 IMDb reviews was used, with texts segmented and preprocessed before being analysed through three ABSA approaches. Two followed a pipeline structure, combining keyword-based aspect detection with sentiment classification via either the lexicon-based VADER model or the transformer-based DistilBERT, while the third adopted an end-to-end design using large language models (GPT-4o mini and GPT-4.1 mini) to extract aspects and sentiments directly. Performance was evaluated against a manually annotated gold standard for aspects and the dataset’s polarity labels for sentiment, using precision, recall, F1 score, and accuracy, with the comparative results guiding the selection of the most reliable method for subsequent analyses. With the selected method, review-level, dominant-aspect, and combination-aspect analyses were conducted. The findings demonstrate that Plot and Cast are most influential aspects in shaping ratings, while Directing and Ambience act as secondary but meaningful contributors. Moreover, results reveal that ratings emerge not from isolated dimensions but from the interaction of multiple aspects, particularly when Plot and Cast align. The study combines methodological rigor with applied analysis, providing academic insights into ABSA and offering practical implications for the film industry and streaming platforms.

As críticas de filmes online constituem uma fonte valiosa de feedback do público, mas a sua riqueza avaliativa ultrapassa frequentemente a análise de sentimentos global. A Análise de Sentimentos Baseada em Aspetos (ABSA) permite associar sentimentos a dimensões cinematográficas específicas. Esta dissertação investiga quais os aspetos que mais influenciam as classificações dos espetadores, através de uma metodologia sistemática e multifásica. Foi utilizado um dataset de 1.000 críticas do IMDb, segmentadas e pré-processadas antes de serem analisadas por três abordagens ABSA. Duas abordagens seguiram uma estrutura em pipeline, combinando a deteção de aspetos por palavras-chave com a classificação de sentimentos pelo modelo léxico VADER ou pelo transformador DistilBERT, enquanto a terceira adotou um desenho end-to-end, recorrendo a modelos de linguagem de grande escala (GPT-4o mini e GPT-4.1-mini) para extrair diretamente aspetos e sentimentos. O desempenho foi avaliado com base num gold standard manual de aspetos e nas etiquetas de polaridade do dataset, utilizando métricas de precision, recall, F1 score, e accuracy, cujos resultados comparativos orientaram a seleção do método mais fiável para as análises subsequentes. Com este método, realizaram-se análises ao nível da crítica, de aspetos dominantes e de combinações de aspetos. Constatou-se que Enredo e Elenco são os principais determinantes das classificações, enquanto Realização e Ambiente Audiovisual têm contributos secundários, mas relevantes. Revelou-se ainda que as classificações emergem da interação entre múltiplos aspetos, sobretudo quando Enredo e Elenco se alinham. Assim, o estudo oferece contributos académicos para a ABSA e implicações práticas para a indústria cinematográfica e plataformas de streaming.