Impulse el rendimiento IoT con insights de datos impulsados por metadatos

A medida que los datos IoT se vuelven una parte más importante de las operaciones empresariales, la capacidad de reducir la latencia en analítica y procesamiento de datos puede marcar la diferencia. Eleva la promesa de tiempo real a un nuevo nivel.

Hay muchos datos moviéndose a través de redes IoT –hasta el punto donde identificar y localizar datos de importancia material puede ralentizar las cosas. Los metadatos –datos sobre datos– son las llaves del reino de los datos, especialmente cuando se trata de indexar e identificar datos no estructurados. Así como los datos pueden abrumar funciones empresariales, los metadatos pueden ralentizar las cosas aún más.

Una nueva propuesta, presentada en la reciente conferencia IEEE Edge Computing, ofrece una forma de abordar el tema de terabytes de metadatos siendo asignados dentro de muchos dominios de aplicación –lo que llaman «metadatos eficientes y escalables», un término que ni siquiera habría sido necesario en la era pre-edge, de batch.

Los investigadores, Bing Zhang de la Universidad de Illinois y Tevfik Kosar de la Universidad de Buffalo, presentan una solución que mueve metadatos a través de redes IoT de manera más rápida y eficiente. También idearon una forma de cachear y predecir acceso a metadatos a través de la red, lo que potencialmente podría reducir la latencia en acceso y movimiento de datos. «Reproducimos aproximadamente 20 millones de operaciones de acceso a metadatos de trazas de auditoría reales, en las que nuestro sistema logró 80 % de precisión durante la predicción de prefetch y redujo la latencia promedio de fetch 50 % comparado con mecanismos state-of-the-art».

Ver también: Informe Deloitte Detalla Alcance del Desafío de Modernización de Datos

Ya, «más del 50 % de todas las operaciones I/O son debidas a computación intensiva en metadatos y las solicitudes para leer atributos de archivo dominan en todas las cargas de trabajo», afirman Zhang y Kosar. Dicen que rutinas de prefetch más agresivas –que mueven datos de almacenamiento a memoria temporal en anticipación de próximas solicitudes de usuario– pueden funcionar mejor con metadatos que con los datos mismos.

Los autores probaron tal arquitectura, empleando logs de traza de grid Hadoop de Yahoo del dataset Yahoo! Webscope, consistiendo en operaciones diarias continuas de metadatos de nodo de nombre Hadoop en 2010. El sistema logró «una tasa de predicción del 80 % en su operación de metadatos y redujo la latencia promedio de fetch 50 % comparado con otros mecanismos state-of-the-art», reportan. «Esto es amigable para red IoT, donde dispositivos IoT con capacidades limitadas de computación y almacenamiento pueden lograr la misma latencia promedio de fetching que el nodo edge/fog de proximidad».

A medida que los datos IoT se vuelven una parte más importante de las operaciones empresariales, la capacidad de reducir la latencia en analítica y procesamiento de datos puede marcar la diferencia. Eleva la promesa de tiempo real a un nuevo nivel.