Risk perception assessment using natural language processing in social neighbourhoods

Abstract

This dissertation explores the use of Natural Language Processing (NLP) to assess public perceptions of risk associated with housing and environmental vulnerabilities in urban communities. The work is conducted within the framework of the RETIME project – Urban Adaptation and Alert Solutions for a TIMELY (re)Action, funded by the European Commission (Grant Agreement No. 101147113). A methodological framework is proposed that combines topic modelling and sentiment analysis to understand how housing risk is perceived in areas exposed to such hazards. The first part applies a topic model based on bidirectional encoders to data automatically extracted from institutional and news websites in Lisbon, Žilina, and Tartu, identifying recurring themes in urban risk discourse. The second part focuses on Lisbon, analysing transcripts from focus groups in the Bairro da Boavista using two sentiment analysis approaches: a lexicon- and rule-based method, with both standard and custom vocabularies, and a transformer-based classifier capable of recognising sentiment without prior training. The topic model revealed five thematic clusters consistent across the three cities, reflecting socio-environmental and institutional vulnerabilities. Sentiment analysis showed a predominantly negative tone, particularly regarding climate and infrastructure risks. The use of a custom lexicon improved the rule-based approach, while the transformer-based classifier achieved higher accuracy. These findings demonstrate that public discourse and community voices can support participatory decision-making, contributing to more effective urban planning that is better adapted to local needs.

Esta dissertação explora o uso de Processamento de Linguagem Natural (PLN) para avaliar a perceção pública do risco associado a vulnerabilidades habitacionais e ambientais em comunidades urbanas. O trabalho insere-se no projeto RETIME – Urban Adaptation and Alert Solutions for a TIMELY (re)Action, financiado pela Comissão Europeia (Acordo de Subvenção n.º 101147113). Propõe-se um enquadramento metodológico que combina modelação de tópicos e análise de sentimento para compreender como o risco habitacional é percecionado em áreas expostas a este tipo de perigos. A primeira parte aplica um modelo de tópicos baseado em codificadores bidireccionais a dados extraídos automaticamente de sites institucionais e da comunicação social em Lisboa, Žilina e Tartu, identificando temas recorrentes no discurso urbano sobre risco. A segunda parte centra-se em Lisboa, analisando transcrições de grupos focais no Bairro da Boavista com duas abordagens de análise de sentimento: um método baseado em léxico e regras, com vocabulário padrão e adaptado, e um classificador baseado em transformadores capaz de reconhecer sentimentos sem treino prévio. O modelo de tópicos revelou cinco agrupamentos temáticos consistentes entre as três cidades, refletindo vulnerabilidades socioambientais e institucionais. A análise de sentimento indicou um tom predominantemente negativo, especialmente em relação a riscos climáticos e de infraestrutura. A utilização de léxico específico melhorou a abordagem baseada em regras, enquanto o classificador com transformadores apresentou maior precisão. Os resultados demonstram que o discurso público e as vozes comunitárias podem apoiar decisões participativas, contribuindo para um planeamento urbano mais eficaz e adaptado às necessidades locais.