PlayVRehab: Serious games for physical rehabilitation in VR scenarios

Abstract

This dissertation presents the development of PlayVRehab, a serious game platform designed to support motor rehabilitation using Virtual Reality (VR) and the Azure Kinect sensor as a natural user interface. The platform aims to address the challenges associated with subjective assessments in traditional physiotherapy and the lack of engagement due to basic rehabilitation technologies. By leveraging VR scenarios and serious games developed in the Unity 3D game engine, it provides a more engaging training environment while providing objective metrics for evaluating patient performance during rehabilitation sessions. The system includes a serious game targeting lower limb rehabilitation, integrated with a data analysis module that stores and processes information in a cloud-integrated database. Metrics such as joint positions, movement execution times, and limb usage frequency are analysed and presented via a Web interface. This interface facilitates user registration, game parameter configuration, and visualization of rehabilitation progress for both patients and physiotherapists. In this dissertation, the technologies and methods employed in the development of the platform are discussed. Usability results and their implications for motor rehabilitation are also presented. The result is a functional prototype for semi-immersive VR-based motor training, accompanied by data analysis and user interface modules.

Esta dissertação apresenta o desenvolvimento do PlayVRehab, uma plataforma de jogos sérios projetada para apoiar a reabilitação motora usando Realidade Virtual (RV) e o sensor Azure Kinect como uma interface de utilizador. A plataforma visa enfrentar os desafios associados às avaliações subjetivas na fisioterapia tradicional e a falta de motivação devido às tecnologias básicas de reabilitação. Ao aproveitar cenários RV e jogos sérios desenvolvidos no Unity 3D, ele fornece um ambiente de treino mais envolvente, ao mesmo tempo em que fornece métricas objetivas para avaliar o desempenho do paciente durante as sessões de reabilitação. O sistema inclui um jogo sério voltado para a reabilitação dos membros inferiores, integrado a um módulo de análise de dados que armazena e processa informações numa base de dados integrado à cloud. Métricas como posições das articulações, tempos de execução de movimento e frequência de uso de membros são analisadas e apresentadas por meio de uma interface da Web. Essa interface facilita o registo do utilizador, a configuração dos parâmetros do jogo e a visualização do progresso da reabilitação para pacientes e fisioterapeutas. Nesta dissertação, são discutidas as tecnologias e métodos empregados no desenvolvimento da plataforma. Os resultados de usabilidade e suas implicações para a reabilitação motora também são apresentados. O resultado é um protótipo funcional para treino motor semiimersivo baseado em RV, acompanhado por módulos de análise de dados e interface do utilizador.