¿El IoT y la computación en la nube son el futuro de los datos?

Dificultades para manejar datos

Con una gran cantidad de dispositivos de IoT, se obtienen grandes cantidades y tipos de datos. Por ejemplo, los dispositivos de IoT pueden proporcionar tipos de datos tan variados como:ventas de clientes, millas recorridas, coordenadas GPS, humedad, número de personas presentes, velocidad del vehículo, temperatura y calidad del aire. Muchas empresas tienen dificultades para manejar la complejidad y la gran cantidad de datos creados por IoT y descubren que sus canales de datos se están volviendo ineficientes. Para los servicios basados ​​en aplicaciones que dependen de la transmisión en tiempo real, este es un problema importante.

Con este fin, se necesitan aplicaciones de transmisión personalizadas y en tiempo real como Kafka, Spark, Kudu, Flink o HBase para administrar los grandes requisitos de big data de los servicios modernos entregados en la nube. Dicho esto, analizar la transmisión de datos de tráfico y generar características estadísticas requiere métodos de monitoreo complejos y que consumen muchos recursos.

Aunque los analistas pueden aplicar varios métodos de detección simultáneamente a los datos entrantes, esto inevitablemente genera desafíos de complejidad y rendimiento. Este es especialmente el caso cuando las aplicaciones abarcan múltiples sistemas (por ejemplo, interactuando con Spark para la computación, con YARN para la asignación y programación de recursos, con HDFS o S3 para el acceso a los datos, o con Kafka o Flink para la transmisión). Estas implementaciones pueden volverse aún más complejas si contienen programas independientes definidos por el usuario como procesamiento previo de datos repetidos o generación de funciones comunes en múltiples aplicaciones.

Crecimiento explosivo de IoT

Para crear la infraestructura en la nube necesaria para sostener el crecimiento explosivo de los dispositivos de IoT, las herramientas y procesos actuales de administración de datos no están a la altura de la tarea. Para gestionar el desafío que presentan los dispositivos de IoT extensos, muchas empresas están comenzando a reconocer la necesidad de integraciones de IA o ML.

Estas integraciones aumentan las capacidades de los equipos de datos para dar sentido a todos estos datos al permitir operaciones de datos inteligentes que reducen la carga de clasificar los datos manualmente. Esto ayuda a que los datos se enruten más rápido al lugar correcto, se mantengan al día con las necesidades comerciales y mantengan el elemento en tiempo real de sus datos.

A menudo, en estos escenarios, la aplicación de transmisión puede retrasarse en el procesamiento de datos en tiempo real y determinar la causa raíz puede ser un desafío engorroso para un sistema tan complejo. Como tal, es mucho más probable que una implementación de datos que se base en el aprendizaje automático y la inteligencia artificial (IA) proporcione el rendimiento, la previsibilidad y la confiabilidad necesarios en comparación con las alternativas.

Para permitir la recopilación eficiente y continua de datos de los dispositivos de IoT, los algoritmos de aprendizaje automático han demostrado ser esenciales para permitir el escrutinio de la ejecución de aplicaciones, identificar la causa de posibles fallas y generar recomendaciones para mejorar el rendimiento y el uso de recursos. Otro beneficio clave es que la implementación de dichos procesos permite que las organizaciones disfruten de costos más bajos y una mayor confiabilidad.

Considere cada caso de uso

Como tal, es clave considerar cada caso de uso individual y ver a qué desafío específico de IoT está brindando una respuesta. Al comprender primero el entorno y los problemas que presenta para su organización respectiva, los equipos de TI pueden hacer un camino más rápido para implementar las soluciones necesarias. Ya sea que se trate de aprendizaje automático o inteligencia artificial, la entrega de una implementación basada en IoT depende de aumentar el equipo de datos con automatización para administrar la complejidad que surge.

El autor es Shivnath Babu, director de tecnología de Unravel Data.