Enfrente los desafíos ETL de los datos de IoT y maximice el retorno de la inversión

Las organizaciones pueden optimizar los datos de IoT, derivando su valor comercial de manera rápida y rentable al desarrollar experiencia en tecnologías ETL (extracción, transferencia, carga).

El potencial de IoT nunca ha sido mayor. Con las inversiones en dispositivos habilitados para IoT que se espera que se dupliquen para 2021 y las oportunidades que surgen en los segmentos de datos y análisis, la tarea principal es superar los desafíos y controlar los costos que rodean Proyectos de datos IoT.

Las organizaciones pueden optimizar los datos de IoT, derivando su valor comercial de manera rápida y rentable mediante el desarrollo de experiencia en tecnologías ETL (extracción, transferencia, carga), como el procesamiento de flujo y los lagos de datos.

Ver también: 4 principios para habilitar un lago de datos prístino

Sin embargo, en muchas organizaciones, esto puede provocar cuellos de botella de TI, largas demoras en los proyectos y el aplazamiento de la ciencia de datos. no han cruzado el umbral de prueba de concepto y definitivamente no pueden demostrar el ROI.

Comprenda los desafíos de ETL que enfrenta IoT

El siguiente diagrama le ayudará a entender mejor el problema:

La fuente de datos está a la izquierda:innumerables dispositivos llenos de sensores, desde antenas simples hasta vehículos autónomos complicados que generan datos de IoT y los envían como un flujo ininterrumpido de datos semiestructurados a través de la web.

A la derecha están los objetivos que debe alcanzar el consumo de dichos datos, con los productos analíticos resultantes al finalizar el proyecto, que incluyen:

• Inteligencia empresarial para obtener visibilidad de las tendencias y patrones de uso del producto
• Monitoreo operativo para ver apagones y dispositivos inactivos en tiempo real
• Detección de anomalías para recibir alertas proactivas sobre picos o caídas abruptas en los datos
• Análisis integrados para permitir a los clientes ver y comprender sus propios datos de uso
• Ciencia de datos para disfrutar de los beneficios del análisis avanzado y el aprendizaje automático en el mantenimiento predictivo, la optimización de rutas o el desarrollo de IA

Para lograr estos objetivos, primero debe transformar los datos de su modo de transmisión sin procesar en tablas listas para análisis que se pueden consultar con SQL y otras herramientas de análisis.

El proceso ETL suele ser el segmento más difícil de entender de cualquier proyecto de análisis porque los datos de IoT contienen un conjunto único de cualidades que no siempre están sincronizadas con las bases de datos relacionales habituales, ETL y herramientas de BI. Por ejemplo:

• Los datos de IoT son datos de transmisión, se generan continuamente en pequeños archivos que se acumulan para convertirse en conjuntos de datos masivos y extensos. Estos son muy distintos de los datos tabulares tradicionales y requieren un ETL más complejo para realizar uniones, agregaciones y enriquecimiento de datos.
• Los datos de IoT deben almacenarse ahora y analizarse más tarde. A diferencia de los conjuntos de datos típicos, el gran volumen de datos creados por los dispositivos IoT significa que debe tener un lugar para sentarse antes de que pueda analizarse:un lago de datos en la nube o en las instalaciones.
• Los datos de IoT presentan eventos desordenados debido a varios dispositivos que pueden entrar y salir de las áreas de conectividad a Internet. Esto significa que los registros pueden llegar a los servidores en varios momentos y no siempre en el orden "correcto".
• Los datos de IoT a menudo requieren un acceso de baja latencia. Desde el punto de vista operativo, es posible que deba identificar anomalías o dispositivos específicos en tiempo real o casi real, por lo que no puede permitirse las latencias causadas por el procesamiento por lotes.

¿Debe utilizar marcos de trabajo de código abierto para crear un lago de datos?

Para crear una plataforma de datos empresariales para el análisis de datos, muchas organizaciones utilizan este enfoque común:crear un lago de datos utilizando marcos de procesamiento de secuencias de código abierto como bloques de construcción, además de bases de datos de series temporales como Apache Spark/Hadoop, Apache Flink, InfluxDB y otras.

¿Puede este conjunto de herramientas hacer el trabajo? Claro, pero hacerlo correctamente puede ser abrumador para todas, excepto para las empresas con más experiencia en datos. La creación de una plataforma de datos de este tipo exige las habilidades especializadas de los ingenieros de bigdata y una gran atención a la infraestructura de datos, lo que no suele ser un punto fuerte en la fabricación y la electrónica de consumo, industrias que trabajan en estrecha colaboración con los datos de IoT. Espere entregas tardías, costos elevados y un montón de horas de ingeniería desperdiciadas.

Si su organización desea un alto rendimiento además de una gama completa de funcionalidades y casos de uso (informes operativos, análisis ad-hoc y preparación de datos para el aprendizaje automático), entonces adopte una solución adecuada. Un ejemplo sería usar una plataforma ETL de lago de datos diseñada específicamente para convertir flujos en conjuntos de datos listos para análisis.

La solución no es tan rígida y compleja como las plataformas de datos Spark/Hadoop. Está construido con una interfaz de usuario de autoservicio y SQL, no con la intensa codificación de Java/Scala. Para analistas, científicos de datos, gerentes de productos y proveedores de datos en DevOps e ingeniería de datos, puede ser una herramienta realmente fácil de usar que:

• Proporciona autoservicio para los consumidores de datos sin necesidad de depender de TI ni de ingeniería de datos
• Optimiza los flujos de ETL y el almacenamiento de big data para reducir los costos de infraestructura
• Permite a las organizaciones, gracias al servicio totalmente administrado, centrarse en las características en lugar de la infraestructura
• Elimina la necesidad de mantener múltiples sistemas para datos en tiempo real, análisis e informes ad hoc
• Asegura que los datos nunca salgan de la cuenta de AWS del cliente para una seguridad total

Puede beneficiarse de los datos de IoT:solo se necesitan las herramientas adecuadas para que sean útiles.