Por qué los datos en tiempo real precisos son críticos para el éxito empresarial

Obtener datos en tiempo real precisos es esencial para el negocio. Requiere identificar patrones usando metadatos, agrupar esta información a través de archivos de metadatos y asegurar precisión de metadatos mediante un framework de gestión de metadatos.

Usar metadatos para validar precisión de datos en tiempo real

Puede parecer contraintuitivo hablar de generar más datos para ayudar a mantener existentes precisos. Pero los metadatos tienen varios superpoderes:

• Si es preciso, metadatos proporciona contexto sobre la información que describe, probando precisión de datos. Un programa de computadora puede convertir estos metadatos en un schema o representación.
• Definiciones de metadatos contienen cualquier combinación de descripciones técnicas, de negocio u operacionales de datasets. Así, sistemas, procesos o personas pueden usar metadatos para caracterizar clientes, compras, productos, ubicaciones, etc.
• Algoritmos pueden usar metadatos técnicos para flaggear otro proceso o persona para tomar acción adicional.
• Metadatos puede envolver un chunk masivo de datos, haciendo esos datos más encontrables.

Dos expertos, Romero y Calders, han aprovechado estas fortalezas de metadatos con un enfoque llamado information profiling. Proponen un framework aplicando metadatos para formar un schema para profiling y luego encerrar resultados usando metadatos.

Llevando estos hallazgos más allá, empresas pueden usar sus reglas de negocio para guiar formación de metadatos del schema y agrupar datos en paquetes envueltos por metadatos. Estas organizaciones tendrían forma más eficiente de lidiar con datos en tiempo real empleando algoritmos para buscar patrones de datos y recuperar datasets que coincidan.

Explorando ejemplo de precisión de datos en tiempo real

¿Cómo se vería el uso de metadatos para precisión de datos en tiempo real en la vida real? Gordon y Shankaranarayanan, de Babson College, dan insight.

Digamos que el feed de Empresa A tiene cientos de mensajes instantáneos entrando cada hora. Un cliente, Juan Pérez, escribe que quiere comprar una bici de empresa A. Empresa A quiere validar que estos mensajes son de Juan Pérez y que él quiere comprar una bici.

Primero, una aplicación crearía perfil de Juan Pérez, metadatos sobre Juan Pérez. Digamos que los metadatos sobre Juan Pérez tienen valores basados en número de teléfono, tipo de móvil usado, y estado de membresía con Empresa A. Esta representación de Juan Pérez sería buena como los datos contenidos en sistema CRM de Empresa A.

Luego un programa de computadora toma este perfil de Juan Pérez y lo empareja con el texto streaming en el feed, con reglas de negocio definiendo qué buscar en el stream de datos. Una vez que el software ve datos emparejando schema de Juan Pérez, los agrupará juntos bajo un archivo de metadatos de contenido. Este archivo de metadatos de contenido sería buscable por personas que estarían seguras que los mensajes de texto vinieron de Juan Pérez (si la calidad de metadatos cumplía necesidades de negocio).

También, un algoritmo armaría un perfil de compra para determinar probabilidad de Juan Pérez comprando una bici, como Amazon averigua qué productos recomendar a sus clientes. Luego, un algoritmo puede aplicar este perfil de compra y ponderar la probabilidad de que Juan quiera comprar una bici.

Hacer la precisión de metadatos crítica

Nota que usar metadatos para crear un schema y batch depende fuertemente de precisión de metadatos. De lo contrario, asegurar precisión de datos en tiempo real sería imposible.

En el ejemplo arriba, si Juan Pérez hubiera cambiado su número de teléfono y sus metadatos aún tuvieran el viejo, entonces los metadatos de Juan serían inexactos. Igualmente, el archivo de metadatos con datasets en tiempo real necesitaría estar etiquetado correctamente. Si los metadatos con archivos de texto de Juan Pérez tuvieran nombre de cliente equivocado, una persona no encontraría archivo de Juan.

Así, las mismas razones y procesos que empresas usan para monitorear datos y limpiarlos, para entregar consistentemente alta calidad de datos, también aplican a los metadatos. Metadatos usados en validar tiempo real deben ser adecuadamente precisos para tener confianza sobre precisión de datos en tiempo real.

Un framework de gestión de metadatos

¿Sería suficiente entonces automatizar monitoreo y limpieza de metadatos? No. Obtener suficiente calidad de metadatos para ser valioso y accesible al negocio depende de un framework de gestión de metadatos.

La gente, procesos y tecnologías de la organización componen este framework de gestión de metadatos y las reglas de negocio que lo crean.

Por ejemplo, si un departamento estandariza sus nombres de clientes en un sistema y otro departamento formatea nombres de clientes diferente en una aplicación separada, tiene un framework de gestión de metadatos inestable. ¿De qué departamento toma la organización metadatos para usar?

Desarrollar un framework de gestión de metadatos para asegurar adecuada precisión de datos en tiempo real requiere:

• Evaluaciones de gestión de metadatos sobre qué estructuras existen y su impacto. Desde esta baseline, empresas pueden averiguar qué procesos cambiar.
• Estrategia de datos, un plan para usar datos para mantener negocio yendo y creciendo.
• Gobernanza de datos, un programa que coordina acceso y seguridad de metadatos, para permanecer compliant.
• Alfabetización de datos colectiva sobre importancia y valor de metadatos en determinar precisión de datos en tiempo real. Además, trabajadores necesitarían saber cómo definir buenos metadatos.
• Requisitos de negocio sólidos sobre qué atributos y valores definen qué o quién describen los metadatos.

Palabras finales

En 2020, empresas vieron por qué necesitaban calidad de datos en tiempo real mientras desconfiaban de obtener insights de negocio de estos datos. Altos volúmenes y velocidades de datos presentan a negocios obstáculos significativos para asegurar rápidamente que cada pieza de datos tiene precisión en stream de texto o mensaje.

Curar datos en tiempo real usando schema de metadatos y reglas de negocio obtiene más valor mientras ahorra recursos de empresa de analizar datos irrelevantes. Agrupar resultados y etiquetar estos datasets usando metadatos hace encontrar datos precisos más rápido. Pero usar metadatos de esta forma requiere metadatos precisos y estructura adecuada de gestión de metadatos para que el negocio tenga confianza en su precisión de datos en tiempo real.