Superando Desafíos ETL de Datos IoT para Impulsar ROI

Las organizaciones pueden optimizar datos IoT, derivando su valor de negocio rápida y rentablemente desarrollando experiencia en tecnologías ETL (extraer, transformar, cargar).

El potencial de IoT nunca ha sido mayor. Con inversiones en dispositivos habilitados para IoT esperadas a duplicarse para 2021 y oportunidades creciendo en segmentos de datos y analítica, la tarea principal es superar los desafíos y domar los costos alrededor de proyectos de datos IoT.

Las organizaciones pueden optimizar datos IoT, derivando su valor de negocio rápida y rentablemente desarrollando experiencia en tecnologías ETL (extraer, transformar, cargar), como procesamiento de streaming y data lakes.

Ver también: 4 Principios para Habilitar un Data Lake Impecable

En muchas organizaciones, sin embargo, esto puede llevar a cuellos de botella de TI, largos retrasos en proyectos, y la ciencia de datos siendo diferida. Resultado: proyectos de IoT — en los que datos de analítica predictiva están destinados a jugar un papel crítico en mejorar eficiencia operativa e impulsar innovación — todavía no han cruzado el umbral de prueba de concepto y definitivamente no pueden demostrar ROI.

Entendiendo los Desafíos ETL que Enfrenta IoT

El siguiente diagrama te ayudará a entender el problema mejor:

La fuente de datos está a la izquierda — innumerables dispositivos llenos de sensores, desde antenas simples a vehículos autónomos complicados que generan datos IoT y los envían como un flujo ininterrumpido de datos semi-estructurados por la web.

A la derecha están las metas que el consumo de dichos datos debe lograr, con los productos analíticos resultantes al concluir el proyecto, incluyendo:

• Inteligencia de negocio para ganar visibilidad en tendencias y patrones de uso de producto
• Monitoreo operacional para ver caídas y dispositivos inactivos en tiempo real
• Detección de anomalías para obtener alertas proactivas en picos o caídas precipitadas en los datos
• Analítica incrustada para permitir a clientes ver y entender sus propios datos de uso
• Ciencia de datos para disfrutar beneficios de analítica avanzada y aprendizaje automático en mantenimiento predictivo, optimización de rutas, o desarrollo de IA

Para lograr estas metas, necesitas primero transformar datos de su modo de streaming crudo en tablas listas para analítica que puedan consultarse con SQL y otras herramientas de analítica.

El proceso ETL es a menudo el segmento más difícil de entender de cualquier proyecto de analítica porque los datos IoT contienen un conjunto único de cualidades que no siempre están en sincronía con las bases de datos relacionales usuales, ETL y herramientas BI. Por ejemplo:

• Los datos IoT son datos en streaming, generados continuamente en archivos pequeños que se acumulan para convertirse en conjuntos de datos masivos y extensos. Estos son muy distintos de los datos tabulares tradicionales y requieren ETL más complejo para realizar joins, agregaciones y enriquecimiento de datos.
• Los datos IoT tienen que almacenarse ahora, analizarse después. A diferencia de conjuntos de datos típicos, el volumen puro de datos creados por dispositivos IoT significa que tiene que tener un lugar donde sentarse antes de que pueda ser analizado — un data lake en la nube u on-premise.
• Los datos IoT presentan eventos desordenados debido a múltiples dispositivos que pueden moverse dentro y fuera de áreas de conectividad a Internet. Esto significa que los logs pueden llegar a servidores en varios momentos y no siempre en el "orden correcto".
• Los datos IoT a menudo requieren acceso de baja latencia. Operacionalmente, puedes tener que identificar anomalías o dispositivos específicos en tiempo real o casi real, así que no puedes permitirte las latencias causadas por procesamiento por lotes.

¿Deberías Usar Frameworks de Código Abierto para Crear un Data Lake?

Para construir una plataforma de datos empresarial para analítica de datos, muchas organizaciones usan este enfoque común: crear un data lake usando frameworks de procesamiento de streaming de código abierto como bloques de construcción más bases de datos de series temporales como Apache Spark/Hadoop, Apache Flink, InfluxDB y otros.

¿Puede este conjunto de herramientas hacer el trabajo? Seguro, pero hacerlo correctamente puede ser abrumador para todas menos las empresas más experimentadas en datos. Construir tal plataforma de datos demanda las habilidades especializadas de ingenieros de big data y fuerte atención a la infraestructura de datos — no usualmente un punto fuerte en manufactura y electrónica de consumo, industrias que trabajan estrechamente con datos IoT. Espera entregas tardías, costos empinados y un montón de horas de ingeniería desperdiciadas.

Si tu organización quiere alto rendimiento más una gama completa de funcionalidades y casos de uso — reporte operacional, analítica ad-hoc y preparación de datos para aprendizaje automático — entonces adopta una solución adecuada. Un ejemplo sería usar una plataforma ETL de data lake diseñada específicamente para convertir streams en conjuntos de datos listos para analítica.

La solución no es tan rígida y compleja como plataformas de datos Spark/Hadoop. Está construida con una interfaz de usuario de autoservicio y SQL, no la codificación intensa en Java/Scala. Para analistas, científicos de datos, gerentes de producto y proveedores de datos en DevOps e ingeniería de datos, puede ser una herramienta verdaderamente amigable para el usuario que:

• Proporciona autoservicio para consumidores de datos sin necesidad de depender de TI e ingeniería de datos
• Optimiza flujos ETL y almacenamiento de big data para reducir costos de infraestructura
• Permite a las organizaciones, gracias a servicio completamente gestionado, enfocarse en características en lugar de infraestructura
• Elimina la necesidad de mantener múltiples sistemas para datos en tiempo real, analítica ad hoc y reporte
• Asegura que los datos nunca salgan de la cuenta AWS del cliente para seguridad total

Puedes beneficiarte de datos IoT — solo toma las herramientas correctas para hacerlos útiles.