La transmisión de datos abre nuevas posibilidades en la era de IoT

Kelly Herrell de Hazelcast

En la era pre-digital, los departamentos de TI dominaban una variedad de enfoques tecnológicos para extraer valor de los datos. Los almacenes de datos, las plataformas analíticas y diferentes tipos de bases de datos llenaron los centros de datos, accediendo a dispositivos de almacenamiento donde los registros se conservaron de forma segura en el disco por su valor histórico.

Por el contrario, dice Kelly Herrell, directora ejecutiva de Hazelcast , los datos en la actualidad se generan y transmiten mediante dispositivos de Internet de las cosas (IoT) a un ritmo sin precedentes. Las "cosas" en IoT son innumerables (sensores, aplicaciones móviles, vehículos conectados, etc.) que en sí mismas son explosivas. Agregue a eso el "efecto de red" donde el grado de valor se correlaciona directamente con la cantidad de usuarios adjuntos, y no es difícil ver por qué empresas como IDC proyectan que el mercado de IoT alcanzará los 745.000 millones de dólares (665.000 millones de euros) el próximo año y superará la marca de 1 billón de dólares (0,89 billones de euros) en 2022.

Esta megatendencia está alterando el paradigma del procesamiento de datos. El valor histórico de los datos almacenados está siendo reemplazado por el valor temporal de la transmisión de datos. En el paradigma de transmisión de datos, el valor es una función directa de la inmediatez, por dos razones:

• Diferencia :Así como las moléculas de agua únicas que pasan a través de un tramo de manguera son diferentes en cada momento, también lo es la transmisión de datos únicos a través de la red para cada ventana de tiempo.
• Perecederos :La oportunidad de actuar sobre la base de los conocimientos que se encuentran en los datos de transmisión a menudo se disipa poco después de que se generan los datos.

Los conceptos de diferencia y perecibilidad aplicar a este paradigma de transmisión de datos. Los cambios repentinos detectados en los flujos de datos exigen una acción inmediata, ya sea un patrón en el reconocimiento facial en tiempo real o los sensores de vibración de la plataforma de perforación que de repente registran anomalías que podrían ser desastrosas si no se toman medidas preventivas de inmediato.

En la era actual, sensible al tiempo, el Internet de las cosas y la transmisión de datos están acelerando el ritmo del cambio en este nuevo paradigma de datos. El procesamiento de la transmisión en sí mismo está cambiando rápidamente.

Dos generaciones, los mismos problemas

La primera generación de procesamiento de flujo se basó principalmente en el procesamiento por lotes utilizando arquitecturas complejas basadas en Hadoop. Una vez que se cargaron los datos, que fue significativamente después de que se generaron, se enviaron como un flujo a través del motor de procesamiento de datos. La combinación de complejidad y demora hizo que este método fuera en gran medida insuficiente.

La segunda generación, (todavía en gran parte en uso), redujo el tamaño de los lotes a "micro lotes". La complejidad de la implementación no cambió y, si bien los lotes más pequeños toman menos tiempo, todavía hay demoras en la configuración del lote. La segunda generación puede identificar diferencias pero no aborda la perecibilidad. Para cuando descubre un cambio en la transmisión, ya es historia.

Procesamiento de transmisiones de tercera generación

Las dos primeras generaciones destacan los obstáculos a los que se enfrentan las organizaciones de TI:¿Cómo puede ser más fácil implementar el procesamiento de flujo mientras se procesan los datos en el momento en que se generan? La respuesta:el software debe ser simplificado, no estar orientado a lotes y ser lo suficientemente pequeño para colocarse muy cerca de las fuentes de la transmisión.

Las dos primeras generaciones de procesamiento de flujo requieren la instalación e integración de múltiples componentes, lo que da como resultado una huella demasiado grande para la mayoría de las infraestructuras de borde e IoT. Una huella liviana permite que el motor de transmisión se instale cerca o se incruste en el origen de los datos. La proximidad elimina la necesidad de que el flujo de IoT atraviese la red para su procesamiento, lo que resulta en una latencia reducida y ayuda a abordar el desafío de la perecibilidad.

El desafío para las organizaciones de TI es ingerir y procesar fuentes de datos de transmisión en tiempo real, refinando los datos en información procesable ahora . Los retrasos en el procesamiento por lotes disminuyen el valor de la transmisión de datos. El procesamiento de flujo de tercera generación puede superar los desafíos de latencia inherentes al procesamiento por lotes al trabajar con datos sin procesar en vivo de inmediato a cualquier escala.

Transmisión en la práctica

Una plataforma de perforación es uno de los símbolos más reconocibles de la industria energética. Sin embargo, los costos operativos de una plataforma son increíblemente altos y cualquier tiempo de inactividad a lo largo del proceso puede tener un impacto significativo en los resultados del operador. Los conocimientos preventivos brindan nuevas oportunidades para mejorar drásticamente esas pérdidas.

SigmaStream , que se especializa en flujos de datos de alta frecuencia generados en el proceso de perforación, es un buen ejemplo de procesamiento de flujo que se está implementando en el campo. Los equipos de perforación de los clientes de SigmaStream están equipados con una gran cantidad de sensores para detectar las vibraciones más pequeñas durante el proceso de perforación. Los datos generados por estos sensores pueden alcanzar de 60 a 70 canales de datos de alta frecuencia que ingresan al sistema de procesamiento de flujo.

Al procesar la información en tiempo real, SigmaStream permite a los operadores ejecutar estos flujos de datos y actuar inmediatamente sobre los datos para evitar fallas y retrasos. Un motor de transmisión de tercera generación, junto con las herramientas adecuadas para procesar y analizar los datos, permite a los operadores monitorear vibraciones casi imperceptibles a través de análisis de transmisión en los datos de la plataforma. Al realizar ajustes precisos, los clientes de SigmaStream han ahorrado millones de dólares y han reducido el tiempo en el sitio hasta en un 20%.

En la era digital actual, la latencia es el nuevo tiempo de inactividad. El procesamiento de transmisiones es el siguiente paso lógico para las organizaciones que buscan procesar información más rápido, habilitar acciones más rápidamente e involucrar nuevos datos a la velocidad a la que están llegando. Al llevar el procesamiento de flujo a las aplicaciones principales, las organizaciones pueden prosperar en un mundo dominado por nuevas variedades de aplicaciones de ultra alto rendimiento y entregar información con la sensibilidad del tiempo para cumplir con las crecientes expectativas.

El autor es Kelly Herrell, director ejecutivo de Hazelcast