El Data Quality Management consiste en el establecimiento de directrices, responsabilidades, y procedimientos concernientes a la adquisición, el mantenimiento, la difusión y la disposición de los datos. La calidad de los datos que se encuentran en una base de datos que se ha desarrollado sin un adecuado esquema de gestión de datos pueden no ser adecuados para definir las necesidades reales, actuales o futuras de un negocio.
Por desgracia, la mayor parte de las empresas, grandes, medianas y pequeñas, aprenden la importancia de una correcta gestión de la calidad de sus datos a la tremenda. Sólo cuando es evidente que no hay una conexión entre los datos de los diferentes informes que los sistemas de Business Intelligent le ofrecen y la realidad financiera de su negocio. Aproximadamente entre un 8% y un 10% de los datos de nuestras bases de datos son de mala calidad y nos están ofreciendo desviaciones importantes en los informes que obtenemos de nuestras soluciones de Business Intelligent.
¿Cuáles son las causas de la baja calidad de nuestros datos? Pues son muy variadas, pero citaré algunas de las que mi experiencia me ha mostrado como las más habituales:
- Datos introducidos vía web por los propios clientes
- Datos introducidos por los propios empleados de la empresa
- Actualizaciones de la base de datos
- Cargas Batch
- Integración de sistemas
- Cambios de domicilio, etc.
Es por ello muy importante aplicar un procedimiento correctivo que permita identificar, corregir y limpiar esas impurezas de nuestra base de datos como paso previo a la instalación de una solución de Business Intelligent. ¿Cuáles son los pasos que damos para llegar a tener una calidad de datos que nos permita obtener informes adecuados que hagan posible una toma acertada de decisiones?
Básicamente, el proceso se divide en 3 momentos fundamentales. Dentro de cada uno de esos momentos se realizan tareas diferentes. Pero eso será materia de otro post, esos momentos son:
- Data Profiling
- Data Cleansing
- Data Auditing
En cada una de esas fases, con la ayuda de diferentes herramientas, se realizan estadísticas, perfiles, y se toman decisiones sobre que hacer con la casuística descubierta. Se deduplican los datos repetidos y se enriquecen los archivos incompletos. Se establecen políticas para la gestión futura de los datos y se determinan posibles usos para datos que no estaban siendo tenidos en cuenta.
Como se puede ver, las posibilidades que ofrece a la toma de decisiones son demasiado importantes como para desdeñarlas. Y las ventajas que ofrece son superiores a los costes de realizar una limpieza previa a la implementación de cualquier solución de B.I. Por otro lado esta limpieza se puede realizar aunque ya tenga instalada su solución de B.I La cuestión nuclear es si queremos tomar decisiones de calidad tenemos que basarlas en datos de calidad.
