Procesamiento de flujos de tercera generación: Convirtiendo datos IoT en acción en tiempo real

Kelly Herrell de Hazelcast

En la era pre-digital, los equipos de TI aprovechaban una gama de herramientas de gestión de datos —data warehouses, plataformas analíticas y varios sistemas de bases de datos— para capturar y preservar información para análisis futuro.

Hoy, los datos se generan y transmiten en streaming por dispositivos IoT a una tasa sin precedentes. Las "Cosas" en IoT —sensores, apps móviles, vehículos conectados— crean un volumen explosivo de información. Añada el efecto de red, donde el valor escala con el número de usuarios conectados, y queda claro por qué IDC proyecta el mercado IoT a alcanzar 745.000 millones de dólares (665.000 millones de euros) el próximo año y superar 1 billón de dólares (0,89 billones de euros) para 2022.

En esta megatendencia, el énfasis tradicional en datos históricos está cediendo paso al valor temporal de datos en streaming. En el paradigma de streaming, el valor está directamente ligado a la inmediatez por dos razones:

• Diferencia: Como moléculas de agua pasando por una manguera, cada instantánea de datos fluyendo por la red es única.
• Perecederos: La oportunidad de actuar sobre insights a menudo se evapora poco después de que se generan los datos.

Estos conceptos significan que cambios repentinos detectados en streams exigen acción instantánea —ya sea una alerta de reconocimiento facial en tiempo real o un sensor de plataforma de perforación detectando vibraciones anormales que podrían llevar a fallo catastrófico si no se abordan inmediatamente.

En el mundo actual de movimiento rápido, IoT y datos en streaming aceleran el ritmo de cambio, remodelando cómo procesamos información. El procesamiento de streams en sí está evolucionando rápidamente.

Dos generaciones, mismos problemas

La primera generación de procesamiento de streams dependía fuertemente de procesamiento por lotes dentro de arquitecturas complejas basadas en Hadoop. Los datos se recopilaban, almacenaban y solo después de un retraso se transmitían al motor de procesamiento. La combinación de complejidad y latencia hacía este enfoque largamente inadecuado.

La segunda generación introdujo micro-lotes, reduciendo tamaños de lote para reducir tiempo de procesamiento. Sin embargo, la complejidad subyacente permaneció, y el retraso en configurar cada micro-lote aún significaba que los cambios se identificaban solo después de haberse vuelto históricos.

Procesamiento de streams de tercera generación

El desafío para organizaciones de TI es claro: ¿cómo podemos ingerir y procesar datos en streaming en tiempo real, convirtiendo datos crudos en insight accionable "ahora" sin la sobrecarga de sistemas orientados a lotes? La respuesta radica en software que es ligero, no centrado en lotes y lo suficientemente pequeño para ejecutarse cerca de —o incluso embebido en— la fuente de datos.

Los motores de primera y segunda generación requieren múltiples componentes, resultando en una huella demasiado grande para la mayoría de entornos edge e IoT. Un motor ligero puede desplegarse justo en la fuente, eliminando la necesidad de enviar todo el stream a través de la red para procesamiento. Esta proximidad reduce dramáticamente la latencia y aborda el desafío de la perecibilidad.

El procesamiento de streams de tercera generación puede manejar datos crudos en vivo a escala, entregando insights instantáneos y permitiendo acciones que capitalizan el valor fugaz de información en tiempo real.

Streaming en la práctica

Una plataforma de perforación es un símbolo quintessencial del sector energético, yet sus costes operativos son altos y cualquier tiempo de inactividad puede impactar severamente la línea de fondo. Insights preventivos pueden reducir dramáticamente pérdidas.

SigmaStream se especializa en flujos de datos de alta frecuencia generados durante perforación. Sus plataformas están equipadas con docenas de sensores que capturan vibraciones minutias. El volumen puede alcanzar 60 a 70 canales de alta frecuencia entrando al sistema de procesamiento de streams.

Al procesar estos datos en tiempo real, SigmaStream permite a operadores actuar instantáneamente —ajustando parámetros de perforación sobre la marcha— para prevenir fallos y tiempo de inactividad. Acoplado con un motor de streaming de tercera generación y las herramientas analíticas adecuadas, los operadores pueden monitorear vibraciones casi imperceptibles. El resultado: clientes han ahorrado millones de dólares y reducido tiempo en sitio hasta un 20 %.

En la era digital, la latencia es el nuevo tiempo de inactividad. El procesamiento de streams es el siguiente paso lógico para organizaciones que necesitan ingerir información más rápido, permitir acciones más rápidas y satisfacer la creciente demanda de datos en tiempo real. Al popularizar el procesamiento de streams, las empresas pueden prosperar en un mundo dominado por aplicaciones de ultra-alto-rendimiento y entregar información sensible al tiempo que cumple expectativas crecientes.

El autor es Kelly Herrell, CEO de Hazelcast