Obtener la ventaja con los datos Acerca de los datos

A medida que los datos de IoT se vuelven una parte más importante de las operaciones comerciales de la empresa, la capacidad de reducir la latencia en el análisis y procesamiento de datos puede marcar la diferencia. Eleva la promesa del tiempo real a un nuevo nivel.

Hay una gran cantidad de datos que se mueven a través de las redes de IoT, hasta el punto en que identificar y ubicar datos de importancia material puede ralentizar las cosas. Los metadatos (datos sobre datos) son la clave del reino de los datos, especialmente cuando se trata de indexar e identificar datos no estructurados. Así como los datos pueden abrumar las funciones empresariales, los metadatos pueden ralentizar aún más las cosas.

Una nueva propuesta, presentada en la reciente conferencia IEEE Edge Computing,
ofrece una manera de abordar el problema de la asignación de terabytes de metadatos dentro de muchos dominios de aplicaciones, lo que ellos llaman "metadatos eficientes y escalables", un término que ni siquiera habría sido necesario en la era por lotes anterior al borde.

Los investigadores, Bing Zhang de la Universidad de Illinois y Tevfik Kosar de la Universidad de Buffalo, propusieron una solución que mueve metadatos a través de redes IoT de una manera más rápida y eficiente. También idearon una forma de almacenar en caché y predecir el acceso a metadatos a través de la red, lo que potencialmente podría reducir la latencia en el acceso y movimiento de datos. "Reproducimos aproximadamente 20 millones de operaciones de acceso a metadatos a partir de seguimientos de auditoría reales, en los que nuestro sistema logró una precisión del 80 % durante la predicción de captación previa y redujo la latencia de captación promedio en un 50 % en comparación con los mecanismos de última generación".

Ver también: Informe de Deloitte detalla el alcance del desafío de modernización de datos

Ya, "más del 50% de todas las operaciones de E/S se deben a uso intensivo de metadatos".
la computación y las solicitudes para leer atributos de archivos dominan en todas las cargas de trabajo”, afirman Zhang y Kosar. Dicen que las rutinas de búsqueda previa más agresivas, que mueven los datos del almacenamiento a la memoria temporal en previsión de las próximas solicitudes de los usuarios, pueden funcionar mejor con los metadatos que con los datos reales.

Los autores probaron dicha arquitectura, empleando registros de seguimiento de cuadrícula de Yahoo Hadoop de Yahoo! Conjunto de datos de Webscope, que consiste en operaciones diarias continuas de metadatos del nodo de nombre de Hadoop en 2010. El sistema logró "una tasa de predicción del 80 % en su operación de metadatos y redujo la latencia de recuperación promedio en un 50 % en comparación con otros mecanismos de última generación". ellos informan "Esto es compatible con la red de IoT, donde los dispositivos de IoT con capacidades limitadas de computación y almacenamiento pueden lograr la misma latencia de recuperación promedio que el nodo de computación de borde/niebla de proximidad".

A medida que los datos de IoT se vuelven una parte más importante de las operaciones comerciales de la empresa, la capacidad de reducir la latencia en el análisis y procesamiento de datos puede marcar la diferencia. Eleva la promesa del tiempo real a un nuevo nivel.