Los 3 principales desafíos de preparar datos de IoT

Sean Kandel de Trifacta

El Internet de las cosas (IoT) ya está arraigado en nuestra vida cotidiana, desde dispositivos portátiles y relojes inteligentes hasta televisores conectados y electrodomésticos inteligentes.

Las empresas también están utilizando la tecnología; en un contexto B2B, dice Sean Kandel, director de tecnología y cofundador de Trifacta , Los dispositivos conectados se refieren a máquinas y sensores que se utilizan para realizar un seguimiento de todo, desde el rendimiento de la máquina hasta los requisitos de mantenimiento.

Por ejemplo, se pueden encontrar dispositivos sensores en una línea de producción para rastrear la preparación de las máquinas y automatizar el mantenimiento predictivo . O, un hospital podría usar dispositivos de IoT para el monitoreo remoto de pacientes, cirugía robótica o dispensación de medicamentos.

Todos estos crecientes sensores, dispositivos y otras "cosas" conectadas en última instancia significan más datos. Y mucho. Pero con más datos surgen desafíos más complejos para prepararlos. Para aprovechar el valor de IoT y big data, y brindar conocimientos que impulsen la innovación, las organizaciones industriales deben preparar rápidamente todos estos datos dispares y no estructurados. A continuación, mencionamos algunos de los tres principales desafíos en la preparación de datos de IoT para aprovecharlos para el análisis.

1. Grandes volúmenes de datos

Corporación internacional de datos (IDC) La investigación de mercado estima que los dispositivos de IoT crearán 40.000 exabytes de datos para 2020. Para mantener esto en perspectiva, en el año 2000, se crearon tres exabytes de información a nivel mundial. Es una gran cantidad de datos para preparar y, en muchos procesos actuales, las organizaciones no podrán mantenerse al día. Esto es particularmente desafiante en el mundo industrial, donde los fabricantes y otras grandes organizaciones industriales generalmente recopilan miles de millones de conjuntos de datos de máquinas, sensores y aplicaciones comerciales internas.

La preparación de datos aún representa hasta el 80% del tiempo y los recursos involucrados en cualquier proyecto de datos, y cuantos más datos agregue, más tiempo requerirá ese proceso. A medida que las organizaciones adoptan nuevas iniciativas de datos de IoT, es importante que consideren nuevas tecnologías y procesos que les permitirán mantenerse al día con esta enorme afluencia de datos.

2. Complejidad

Otro desafío en la preparación de datos de IoT es su naturaleza compleja. A menudo, las organizaciones no solo deben preparar datos de marca de tiempo o geoetiquetas, sino combinarlos con fuentes más estructuradas, como archivos csv. Esta complejidad solo se multiplica cuando se tiene en cuenta la velocidad a la que se generan estos datos.

Encontrar una solución a este problema es complicado. Los recursos técnicos dentro de una organización que podrían manejar esta complejidad suelen ser limitados y escalar esos recursos es costoso. El uso de herramientas de preparación de datos comunes como Excel no puede manejar esta complejidad, lo que deja a los analistas capacitados sin poder trabajar con estos datos. Las organizaciones de hoy deben encontrar una manera de aprovechar los recursos que tienen para preparar los datos de IoT cada vez más complejos.

3. Interoperabilidad

Los sistemas informáticos comerciales, tanto hardware como software, no están hechos para intercambiar o procesar grandes cantidades de información compleja extraída de sensores y dispositivos conectados. Es difícil integrar y enriquecer rápidamente los datos generados por la máquina con datos de aplicaciones comerciales como Salesforce y Marketo, por ejemplo, y otros repositorios de datos. Por lo tanto, las organizaciones de hoy deben buscar soluciones que permitan que los datos se comuniquen entre sí, de modo que se pueda aprovechar la totalidad de los datos de una organización.

Plataformas de preparación de datos para iniciativas de IoT

Muchas organizaciones que encabezan iniciativas de IoT han recurrido a plataformas modernas de preparación de datos para aliviar estos desafíos. Con una plataforma de preparación de datos inteligente, algunos de los clientes de Trifacta han visto reducir el tiempo dedicado a preparar datos hasta en un 90%, al tiempo que permiten que los recursos no técnicos preparen grandes cantidades de datos complejos por sí mismos. Además, nos hemos asociados con Sumo Logic para ofrecer a los clientes una solución para preparar datos de registro complejos con datos de aplicaciones comerciales.

Por ejemplo, una gran empresa ferroviaria europea está utilizando Trifacta para preparar los datos de los sensores generados a partir de la supervisión de 8.000 locomotoras en 32.000 millas de vías férreas para predecir cuándo necesitarán mantenimiento. Antes de adoptar Trifacta, la compañía estaba preparando estos datos ad-hoc para varias personas y con muchas herramientas diferentes, lo que finalmente retrasó el análisis y su capacidad de respuesta a las reparaciones necesarias. Ahora, esta empresa puede preparar el 100% de los datos de sensores complejos y ha reducido rápidamente el tiempo que dedican a la preparación de datos.

Otro cliente, Kuecker Logistics Group (KLG) , está utilizando la plataforma Trifacta para preparar una multitud de datos de sensores generados a partir de almacenes propiedad de los minoristas más grandes del mundo. Estos clientes tienen operaciones extensas y complejas en la cadena de suministro y un eslabón defectuoso o ineficiente en la cadena puede causar un efecto dominó aguas abajo.

Mediante el uso de una plataforma de preparación de datos inteligente, Kuecker ha podido escalar los procesos de preparación de datos sin contratar desarrolladores costosos, lo que ha mejorado drásticamente su eficiencia. Ahora, están preparando los datos del almacén del cliente e identificando más rápidamente los cambios necesarios que deben realizarse dentro de los almacenes.

Conclusión

Los datos de IoT son una oportunidad emocionante, pero sus beneficios solo se pueden obtener con una estrategia adecuada de preparación de datos. Las organizaciones deben equipar a su equipo con plataformas de preparación de datos que puedan manejar el volumen y la complejidad de los datos de IoT, así como comprender cómo estos datos pueden y se unirán con otras fuentes en toda la organización. Al adoptar soluciones inteligentes de preparación de datos, el universo de IoT y big data ya no es abrumador. Los datos de los sensores se convierten en la clave de la innovación, no en un impedimento para ella.

El autor es Sean Kandel, director de tecnología y cofundador de Trifacta.