Por qué llevar datos continuos a la nube cuesta más de lo que piensas

En industrias cada vez más impulsadas por la toma de decisiones en tiempo real, como manufactura, transporte, telecom, seguridad pública y más, los datos ya no se crean en lotes ocasionales. Llegan de forma continua y a gran escala desde sensores, máquinas, activos móviles y aplicaciones digitales. Si bien centralizar esos datos en una nube o centro de datos para análisis una vez pareció eficiente, el volumen, velocidad y criticidad de los flujos de datos actuales han expuesto limitaciones serias con el enfoque tradicional de backhaul primero.

Durante años, las organizaciones que rutinariamente lidian con tales flujos de datos y quieren usar los datos para insights en tiempo real han estado moviendo el análisis de esos datos al borde, donde se crean. Cada vez más, a medida que los volúmenes de datos y las tasas de generación crecen, muchas organizaciones están dotando a sus sistemas de borde con inteligencia avanzada para actuar adaptativamente sobre los insights en tiempo real y quasi tiempo real que derivan sus análisis.

Ver también: Más Allá de la Latencia: La Próxima Fase de Inteligencia de Borde Adaptativa

Las limitaciones del backhaul de datos

El backhaul de datos a instalaciones centralizadas ha tenido aplicaciones prácticas durante décadas cuando los volúmenes de datos y la tasa de generación eran modestos. Los datos se almacenaban y analizaban para acciones inmediatas o para entender tendencias históricas.

Ese modelo ya no funciona en industrias que tienen altos volúmenes de datos en streaming continuo. Algunas industrias afectadas incluyen:

• Organizaciones de servicios financieros intentando actuar sobre flujos interminables de datos transaccionales.
• Empresas de manufactura intentando dar sentido a datos de IoT y otros sensores de equipamiento en líneas de producción.
• Minoristas online intentando aprovechar el momento y presentar artículos relevantes a clientes en su web.
• Vehículos autónomos intentando interpretar flujos de video para evitar obstáculos en la carretera y obedecer leyes de tráfico.

En estos casos, y otros, uno de los desafíos más inmediatos con el backhaul de datos es la congestión de red. Fuentes de datos de alta frecuencia como sensores IoT, feeds de video HD, sistemas autónomos o maquinaria industrial pueden producir gigabytes o incluso terabytes de datos por hora. Intentar canalizar esto a una ubicación central tensiona el ancho de banda disponible, aumentando costes y disminuyendo el rendimiento general de la red. Las actualizaciones de ancho de banda ayudan, pero escalan mal llevando a costes más altos.

Luego está la latencia, el asesino silencioso de la capacidad de respuesta en tiempo real. Cuando los datos en bruto deben recorrer largas distancias para ser procesados, el retraso de ida y vuelta puede volver los insights obsoletos para cuando los sistemas de analítica actúan sobre ellos. En escenarios críticos para la seguridad o sensibles al tiempo, como detección de fallos en utilities, control de calidad en líneas de manufactura o mantenimiento predictivo de flotas de transporte, los milisegundos importan. Una arquitectura de procesamiento centralizado simplemente no puede garantizar rendimiento determinista.

Otro problema a menudo pasado por alto es la ineficiencia de costes. El almacenamiento en nube, tarifas de transferencia de datos y recursos de computación se vuelven caros cuando grandes conjuntos de datos se mueven continuamente. Muchas organizaciones encuentran que están pagando por almacenar y analizar datos que son redundantes, de bajo valor o irrelevantes. De hecho, estudios rutinariamente muestran que la mayoría de los datos de sensores en bruto nunca se usan, sin embargo incurre en costes completos de transporte y almacenamiento cuando se hace backhaul.

Los riesgos de seguridad y privacidad también crecen a medida que aumenta el volumen de datos. Mover datos sin filtrar a través de redes de área amplia expande la superficie de ataque y requiere cifrado estricto, monitorización y controles de cumplimiento. Datos sensibles, como información de ubicación, telemetría operacional o patrones de uso de clientes, pueden tener implicaciones regulatorias cuando se transportan a través de regiones o fronteras cloud. Para algunas industrias, esto por sí solo hace el backhaul centralizado impráctico.

Finalmente, las arquitecturas centralizadas limitan la resiliencia. Si se pierde la conectividad o el rendimiento se degrada, los sistemas dependientes de la nube para analítica pueden fallar al tomar decisiones oportunas. Esto es inaceptable en entornos de borde como operaciones mineras remotas, plataformas energéticas offshore, redes inteligentes o sistemas de transporte que no pueden pausar la operación hasta que la red se recupere.

Una mirada más cercana a los problemas del backhaul de datos

En resumen, a medida que proliferan los sistemas en tiempo real, la analítica y la toma de decisiones deben moverse más cerca de la fuente del evento, mantener estado, ejecutar con latencia mínima y consistencia total.

Un blog reciente de Volt Active Data puso en perspectiva los problemas con el backhaul de datos y discutió cómo los sistemas de inteligencia de borde adaptativa los eliminan.

El blog señaló que aunque el procesamiento centralizado de datos ofrece alguna conveniencia de gestión, conlleva costes ocultos sustanciales. Estos incluyen altos gastos de ancho de banda y almacenamiento por transportar y alojar grandes conjuntos de datos, mayor consumo de energía y huella de carbono asociada, desafíos de latencia y fiabilidad de red (especialmente para aplicaciones en tiempo real), y mayor riesgo de puntos únicos de fallo cuando todo el procesamiento depende de infraestructura centralizada.

Para superar estos problemas, las organizaciones están moviendo la inteligencia al borde: procesando y filtrando datos más cerca de su fuente para que solo información significativa y reducida se envíe upstream. Un modelo edge-nativo así reduce costes de transmisión y almacenamiento, reduce drásticamente la latencia, mejora la resiliencia operacional y permite arquitecturas más verdes y sostenibles.

Una palabra final

A medida que las organizaciones adoptan más automatización, IA y operaciones autónomas en el borde, el modelo de enviar todo a un centro de datos se vuelve cada vez más insostenible. El futuro reside en arquitecturas híbridas y edge-nativas donde los datos se procesan localmente, se reducen o enriquecen en la fuente, y solo salidas de alto valor o agregados se envían upstream.