Automatizando la calidad de datos para acelerar el éxito de IA y ML

¿Pueden las organizaciones automatizar la calidad de datos para mejorar IA y ML? En la última década, las empresas han comenzado a comprender y desbloquear el potencial que la inteligencia artificial (IA) y el aprendizaje automático (ML) pueden traer. Aunque aún en su infancia, las empresas están empezando a entender el impacto significativo que esta tecnología puede traer, ayudándoles a tomar decisiones mejores, más rápidas y más eficientes.

Por supuesto, la IA y el ML no son una bala de plata para ayudar a las empresas a abrazar la innovación. De hecho, el éxito de estos algoritmos es solo tan bueno como sus cimientos, específicamente, datos de calidad.

Sin ellos, las empresas verán fallar el objetivo mismo para el que instalaron IA y ML, con las consecuencias imprevistas de malos datos causando daño irreversible al negocio tanto en términos de su eficiencia como de reputación.

Pero hay otra área de exploración madura para el desarrollo; a saber, ¿puede la calidad de datos ser mejorada y mantenida por la automatización y el aprendizaje automático en sí mismo?

El riesgo de mala calidad de datos

Desde servicios de streaming de películas, a chatbots, a ayudar a informar cómo los supermercados organizan sus estanterías y guiarnos a través de grandes centros de transporte, el ML influye en nuestras vidas de formas inimaginables hace una década.

Pero, ¿qué pasa si el algoritmo se pone a trabajar sobre la base de mala calidad de datos? Los riesgos en el futuro podrían ser mucho más severos que ser servido una película que no te gusta.

Si comenzamos a confiar en el aprendizaje automático para mejorar el descubrimiento y prueba de fármacos, por ejemplo, ¿qué pasaría si un fármaco se formulara pero hubiera errores en los datos de compuestos químicos usados para simular pruebas? Las implicaciones podrían ser graves.

Una aplicación emergente de ML que también podría verse impactada por malos datos base es los vehículos autónomos. Desde mapas y direcciones hasta cómo un vehículo reacciona a un ciclista, los datos usados para enseñar a la máquina serán cruciales para la adopción de consumidores y reguladores.

Los algoritmos de ML, esos conjuntos de reglas y cálculos que ayudan a resolver problemas definidos, pueden tanto apoyar la mejora de la calidad de datos como ser desviados por datos inexactos si la posibilidad de malos datos no se considera en su construcción.

Calidad de datos automatizada

Como con cualquier transformación digital, moverse de manual a automatizado y luego calidad de datos «inteligente» requerirá un plan a largo plazo. Experian ha identificado cuatro etapas sobre la progresión de la gestión de datos, a las que llamamos la Curva de Madurez de Gestión de Datos. Inconsciente, Reactivo, Proactivo y Optimizado & Gobernado reflejan las cuatro etapas que abarcan un ciclo completo de una estrategia de calidad de datos.

La evaluación ha revelado una progresión constante hacia arriba de la curva de madurez, a medida que las organizaciones comienzan a liberar el potencial de los datos que poseen y los toman más en serio. Lo más intrigante de todo, aquellos que se encuentran en la etapa Optimizado & Gobernado, podrían estar viendo los inicios de otro nivel, algo que puede ser llamado «automatizado inteligentemente».

«Automatizado inteligentemente» se refiere a tener sistemas y procesos en su lugar para ayudar a las personas responsables de la calidad de datos a identificar dónde están sus mayores preocupaciones. Todos deberíamos estar ya revisando métricas clave de rendimiento regularmente para identificar tendencias en calidad de datos, quizás mirando tasas de completitud general de atributos clave, o monitorizando cualquier preocupación de tiempo con recepción de datos o etapas de carga de datos. Pero entender verdaderamente tu calidad de datos requiere que miremos más profundo en el contenido.

Por ejemplo, ¿es suficiente decir que has recopilado una fecha de nacimiento para cumplir requisitos de datos de terceros en el 99% de los casos, cuando una gran proporción de las fechas que has recopilado son derivadas del sistema y, por tanto, no son fechas de nacimiento reales? Esto puede causar problemas reales y las consecuencias no intencionadas pueden propagarse a través de tu proceso de toma de decisiones.

Los próximos pasos

La mayoría de los programas de calidad de datos ya contienen un elemento de automatización y prueba y aprendizaje. La siguiente etapa en esta evolución es el uso de aprendizaje automático para reconocer y responder automáticamente a diferentes tipos de datos — «automatizado inteligentemente».

Por ejemplo, una herramienta de gestión de datos que puede reconocer información estándar como una dirección, email, número de tarjeta de crédito, o número de seguro nacional con poco pre-entrenamiento o escritura de reglas antes de tomar acciones como validar la entrada o señalar un problema de cumplimiento a un gerente.

El objetivo final es ML para calidad de datos que luego se mejora a sí mismo con el tiempo. Un buen ejemplo de esto es nombre de empresa — ¿es Tesco PLC lo mismo que Tesco Stores Ltd? ¿Qué hay de una parte del grupo Tesco que no tiene la palabra «Tesco» en el nombre de la empresa?

Agrupar entidades comerciales puede ser tan simple como buscar el nombre, o más complejo mirando el detalle de cuentas de la empresa, direcciones de sede central, nombres de CEO, direcciones web y otros metadatos para encontrar asociaciones alrededor del mundo.

Estos tipos de hipótesis son los desafíos de negocio que una estrategia de datos fuerte puede soportar. Sin embargo, ¿podemos movernos a un lugar donde podamos automatizar este aprendizaje y mejorar nuestra calidad de datos con el tiempo con menos esfuerzo manual, dando a nuestra gente de datos más tiempo para analizar y soportar el negocio?

Ese es el desafío para el ML, tomando las reglas base para calidad de datos, implementándolas y luego sugiriendo mejoras a medida que los cambios en datos del mundo real se vuelven visibles como excepciones o valores atípicos. Es un tema emergente y uno que esperamos ver un gran desarrollo en los años venideros.

Tu estrategia de datos

Fundamentalmente, cada ejemplo de ML depende de datos que sean aptos para el propósito; si no esos datos, y como consecuencia, las decisiones que se toman por ellos, no pueden confiarse.

Para evitar esto, las organizaciones necesitan asegurar que tienen una estrategia de datos robusta. Piensa en las razones para embarcarse en ML; ¿cuáles son los resultados explicables que quieren lograr y evitar?

Luego, al realizar una evaluación inicial de tus datos para verificar la calidad de lo que ya tienen, la organización puede tomar acción y planificar qué más necesitan para mejorar la calidad general de sus datos.

Ser capaz de identificar y rastrear las decisiones tomadas vía ML, y todos los procesos de toma de decisiones automatizados, es vital si han de ser adoptados e implementados con éxito.

El monitoraje continuo de calidad de datos también es crucial. Al hacer esto podrás identificar rápidamente qué áreas necesitan atención y estar tranquilo de que estás en la mejor posición posible con iniciativas de ML actuales y potenciales.

Entonces, las organizaciones estarán en posición para que el ML les permita gestionar su calidad de datos más eficientemente, haciendo sus procesos de toma de decisiones más rápidos y mejores.

Llevando esto a su conclusión lógica, usar aprendizaje automático puede ayudarnos a identificar esas preocupaciones de datos que permanecen ocultas hasta que son un problema real. Si podemos entrenar modelos para identificar los atributos clave que pueden influir en una decisión o proceso más adelante, y luego monitorizar fluctuaciones o patrones preocupantes, podríamos incluso predecir el impacto que estas preocupaciones de datos podrían tener en tu negocio.

Por ejemplo, si sabemos que el número de habitaciones en una propiedad impacta directamente decisiones en nuestro negocio, y establecemos que tenemos datos incompletos o aproximados en este campo a una cierta escala que está empeorando, ¿podríamos predecir, basándonos en dónde sabemos que se usan los datos, estimaciones de ingresos por alquiler, valoraciones hipotecarias, o predicciones de consumo de calefacción?

El impacto de esta creciente preocupación de calidad de datos, podría ayudar a construir el caso de negocio para corregirlo ahora en lugar de cuando sea un problema real.