Datos inteligentes:la próxima frontera en IoT

Nunca ha sido más fácil recopilar datos que hoy. Con unos pocos clics, estará listo y en funcionamiento, armado con las mejores tecnologías de datos que la nube tiene para ofrecer, listo para acumular todos los datos que pueda. Puede ser difícil de creer que hace apenas una década, las cosas eran dramáticamente diferentes. La recopilación de datos a escala era, de hecho, solo una opción para las corporaciones más grandes, organizaciones que podían permitirse tanto los costosos servidores que eran la única opción viable para almacenar todos los datos como los pocos ingenieros selectos que eran capaces de sacar el máximo partido. de él, en los días en que la ciencia de datos era solo un campo en ciernes.

Hoy en día, afortunadamente, la generación de datos ya no es solo un deporte corporativo. De hecho, gracias al Internet de las cosas (IoT), ahora todos nos hemos convertido, para bien o para mal, en pequeñas fábricas de Big Data. Para 2020, un solo humano será responsable de la generación de 1,7 MB de datos por segundo. Incluso ahora, un solo vehículo autónomo genera 11 TB de datos por día. Y esta tendencia no muestra signos de disminuir. Al contrario:simplemente va a crecer.

Obviamente, esta es una excelente noticia para todos los aficionados a los datos. No fue hace mucho tiempo cuando la recopilación de conjuntos de datos de alta calidad era una tarea onerosa y minuciosa. Aún así, siempre queremos más. Si alguna vez parece que su nuevo modelo de aprendizaje profundo está "solo" alcanzando una precisión del 92%, la excusa más fácil y fácil es culpar a los datos. "Mi conjunto de datos no es lo suficientemente grande", les decimos a nuestros jefes con indiferencia. “¡Pero si esperamos unas semanas más, este modelo será el mejor que jamás haya visto!”

Esto parece plantear una pregunta importante:¿cuántos datos son realmente suficientes? Pero en realidad plantea uno aún más importante:cuántos datos son demasiados ?

Curiosamente, no escuchamos esta pregunta con frecuencia en los círculos de aprendizaje automático, incluso si realmente deberíamos hacerlo. Si bien Big Data es una gran oportunidad, también es un pasivo gigantesco de 40 zettabytes. Si los datos son realmente el nuevo petróleo, debemos llevar la analogía al límite:los datos son un recurso extremadamente lucrativo, pero también, al igual que el petróleo, deben refinarse. El hecho de no restringirnos del uso incontrolado nos pone en riesgo. En resumen, la forma en que usamos y consideramos los datos hoy en día es profundamente insostenible y este hecho apenas llega a la conciencia colectiva.

Tal vez, solo tal vez, esta sea la conversación incorrecta. Quizás Big Data no sea realmente la respuesta a la IA después de todo.

Retrocedamos un momento y pensemos qué es lo que realmente estamos recopilando. En los primeros días de la digitalización, la recopilación de datos era más costosa, por lo que elegimos nuestros lugares. Fuimos más responsables y un poco más concienzudos. A medida que la generación y recopilación de datos se hizo cada vez más fácil, se prestó menos atención a la calidad, mientras que la cantidad se convirtió en un subproducto natural de las nuevas tecnologías, como el almacenamiento en la nube, la computación en la nube, las máquinas GPU, la gestión de datos a gran escala y los sistemas de transferencia. Rápidamente, los datos se convirtieron en una mercancía, pero con la escalada continua de datos y almacenamiento de datos, nadie hizo la pregunta simple:¿Por qué recopilamos esto? ¿Tiene sentido siquiera?

Con la mercantilización de la construcción de modelos, los fosos de datos ciertamente pueden parecer la respuesta obvia a la diferenciación en la IA, pero ¿todos nos perdimos el panorama general? Los datos envejecen. Se vuelve rancio. Y, en última instancia, incluso si nos han atraído a creer que los datos y la información son dos cosas profundamente diferentes, todos los datos no creado igual. Después de todo, una adolescente que se toma 20 selfies antes de publicar en Instagram es ciertamente diferente a un catálogo de bibliografía médica en el que se pueden realizar búsquedas.

Nada de esto parece un problema mientras nos aferremos a la creencia de que el progreso en el hardware nos mantendrá a salvo del apocalipsis de los datos. El almacenamiento de datos es cada día más barato y la potencia informática es cada vez más accesible. Eso sigue siendo cierto solo si la generación de datos se compensa con la capacidad de los ingenieros para mantenerse al día con la Ley de Moore. Incluso si pueden hacerlo de forma indefinida, considere lo siguiente:si no todos los datos son igualmente informativos, ¿de qué sirve procesar datos deficientes o redundantes?