Minería de Datos Datawarehousing

Resumen de datos

Se realizó un análisis descriptivo inicial del conjunto de datos para obtener una visión general de su contenido. Todo se encuentra en el siguiente Código

• Cantidad de registros y columnas.
• Tipos de datos de cada columna.
• Cantidad de departamentos y municipios.
• Identificación de valores faltantes.
• Detección de inconsistencias en fechas (fechas de reporte anteriores a fechas de notificación, fechas futuras).
• Detección de valores atípicos en la edad (edades fuera del rango intercuartil, edades imposibles).
• Análisis de la distribución de casos por sexo y tipo de contagio.
• Detección de posibles duplicados.
• Identificación de inconsistencias entre estado del paciente y fecha de muerte o tipo de recuperación.

Resultados

Relevancia del modelo

Se logro identificar algunas fuentes de datos externas que podrían integrarse para mejorar el análisis.

• Datos demográficos del DANE (Departamento Administrativo Nacional de Estadística): integrar información demográfica permitiría analizar la distribución de casos por grupos de edad, género, densidad poblacional, etc. Además, ayudaría a identificar grupos de riesgo y patrones de propagación relacionados con factores demográficos.
  • Proyecciones de población
  • Censo Nacional de Población y Vivienda 2018
• Datos de movilidad de Google: estos datos mostrarian cambios en los patrones de movilidad durante la pandemia. Permitiendo correlacionar la propagación del virus con los movimientos de la población y evaluar la efectividad de las medidas de confinamiento.
  • Google COVID-19 Community Mobility Reports
• Datos socioeconómicos del Ministerio de Salud y Protección Social: información sobre cobertura de salud, niveles de pobreza, acceso a servicios básicos, etc. Logrando examinar cómo los factores socioeconómicos influyen en la incidencia y severidad de los casos.
  • DANE - Pobreza y Condiciones de Vida
• Datos de vacunación contra COVID-19: Información sobre el avance de la campaña de vacunación en diferentes regiones. Ayudaría a analizar el impacto de la vacunación en la reducción de casos y la severidad de los mismos.
  • Ministerio de Salud - Plan Nacional de Vacunación contra el COVID-19

Relevancia del modelo

Se crearon diversos gráficos para comprender mejor los patrones y tendencias en los datos.

Limpieza de datos

Se realizó un proceso de limpieza de datos para preparar el conjunto de datos para su posterior análisis. Este proceso incluyó:

• Selección de columnas relevantes: se seleccionaron las columnas que se consideraron más relevantes para el análisis y que cuentan con un gran porcentaje de valores no nulos.
• Renombramiento de columnas: se renombraron las columnas para que tuvieran nombres más concisos y fáciles de usar en el análisis.
• Reordenamiento de columnas: se reordenaron las columnas para que tuvieran un orden más lógico.
• Conversión de tipos de datos: se aseguraron de que todas las columnas tuvieran el tipo de datos correcto.
• Normalización de valores de texto: se normalizaron los valores de texto en las columnas de tipo string para eliminar tildes, caracteres especiales y asegurar la consistencia en la capitalización. Debido a que los datos presentaban errores de ingreso de información por caracteres diferentes.

Imputación de datos

Se utilizaron diferentes métodos de imputación para manejar los valores faltantes en el conjunto de datos.

• Imputación por fecha de reporte: se imputaron las fechas de diagnóstico faltantes utilizando la fecha de reporte web, asumiendo que el la fecha de reporte coicidia con la fecha en que el paciente fue diagnisticado con COVID-19.
• Imputación por moda: para las variables categóricas `ubicacion_caso` y `tipo_recuperacion`, se utilizó la moda para imputar los valores faltantes. La imputación por moda es una técnica simple y comúnmente utilizada para variables categóricas, especialmente cuando la moda representa una proporción significativa de los datos.
• Imputación deductiva: se imputaron los valores de las columnas recuperado y estado utilizando la información disponible en otras columnas, como las fechas de muerte y recuperación. En base al conocimiento del campo y las relaciones lógicas entre las variables, se planteo una imputación consistente con la realidad.