Data quality assessment in healthcare data: A case study

Abstract

Reliable data is essential for monitoring and evaluating business activities. When critical domains such as Healthcare are involved, data quality has a crucial impact on de- livering more accurate and fast healthcare services. Considering epidemiological scenarios such as the COVID-19 pandemic, data can assume an essential role in supporting social answers carried on by the primary decision-makers. For that, sharing and having an inte- grated view of the data allow for identifying the best approaches and critical signals that could lead to better treatments and diagnoses. Nevertheless, leading with data extraction from several sources is not an easy task and can lead to enormous challenges related to data accessibility, representation, and interpretation. Several data quality problems can occur and, when not adequately addressed, can question the decision-making support. The contribution of this thesis was to perform a data quality assessment from a subset of data from a Portuguese hospital when used in the context of integration to a common shared repository within the scope of a European project. A deep data profiling analysis in the source database was conducted, identifying the main characteristics and, after- wards, the main issues. Each issue was later mapped with its corresponding data quality violation, and rules were defined as guidelines to address these issues and prevent future ones. To classify the quality of the source data, a methodology was proposed to evaluate the data into two levels, quality roles level and data quality dimensions level, calculating the data quality score. The final results are discussed and evaluated in this work.

Dados com qualidade são essenciais para monitorizar e avaliar as atividades do negócio. Quando se trata de domínios críticos como a área da saúde, a qualidade dos dados tem um impacto fundamental na prestação de serviços mais precisos e rápidos. Considerando cenários epidemiológicos como a COVID-19, os dados assumem um papel essencial no apoio às respostas sociais dadas pelos decisores. Para tal, a partilha e a visão integrada dos dados permitem identificar as melhores abordagens e os sinais críticos que podem conduzir a melhores diagnósticos e tratamentos, entretanto, lidar com a extração e integração de dados provenientes de várias fontes não é uma tarefa fácil e implicam inúmeros desafios relacionados com a acessibilidade, representação e interpretação dos mesmos. Diferentes problemas relacionados à qualidade dos dados podem ser levantados e quando não tratados corretamente, podem pôr em causa à tomada de decisões. O principal contributo desta tese é avaliar a qualidade de um conjunto de dados de um hospital português aquando utilizados para integração com repositório de dados partilhado no âmbito de um projeto europeu. Estes dados foram analisados, identificando as principais características e problemas. Os problemas identificados foram posteriormente mapeados com a respetiva dimensão da qualidade de dados violado. Regras foram definidas servindo como diretrizes para auxiliar na correção dos problemas e prevenir que os mesmos ocorram futuramente. Para efetuar esta avaliação, propôs-se uma metodologia que avalia a qualidade dos dados a dois níveis, a nível das regras e das dimensões da qualidade dos dados, calculando posteriormente o score relativamente a qualidade dos dados avaliados. Os resultados foram discutidos e avaliados.