Uso de IA y ML para extraer información procesable en aplicaciones perimetrales

Si los datos comienzan en Edge, ¿por qué no podemos hacer todo lo posible allí desde el punto de vista de la IA?

El crecimiento explosivo de los dispositivos y aplicaciones Edge requiere nuevas ideas sobre dónde y cómo se analizan los datos y se derivan los conocimientos. Las nuevas opciones informáticas de Edge, junto con requisitos más exigentes de velocidad de conocimiento en muchos casos de uso, están impulsando el uso de inteligencia artificial (IA) y aprendizaje automático (ML) en aplicaciones de Edge.

Dónde se aplican la IA y el ML (en el perímetro o en un centro de datos o una instalación en la nube) es un asunto complejo. Para obtener información sobre las estrategias actuales y las mejores prácticas, nos sentamos recientemente con Said Tabet, arquitecto jefe, AI/ML &Edge; y Calvin Smith, CTO, Soluciones tecnológicas emergentes; ambos en la Oficina del CTO Global en Dell Technologies.

Discutimos la creciente necesidad de IA y ML para dar sentido a la gran cantidad de datos de Edge que se generan hoy en día, los requisitos de cómputo para IA/ML en las aplicaciones de Edge y si tales cómputos deben realizarse en el Edge o en un centro de datos o instalación en la nube.

Tendencias emergentes

RTInsights: ¿Cuáles son las tendencias emergentes de hoy y cómo encajan la IA y el ML en la discusión de Edge?

Tabet: Hoy en día, cuando las personas hablan de tendencias emergentes, a menudo mencionan muchas cosas como Edge, IoT, AI/ML, realidad aumentada, realidad virtual, blockchain y 5G. Posicionamos Edge como el próximo paso en términos de hacia dónde vamos con estas tecnologías, no solo tendencias, sino una verdadera adopción. Creo que desde la perspectiva de los datos y la experiencia del usuario, hay una necesidad de conocimiento y, gracias a nuestra impaciencia como seres humanos, junto con los problemas de latencia del mundo real, obtener ese conocimiento lo más rápido posible. Además, la idea de que si los datos comienzan en Edge, ¿por qué no podemos hacer todo lo posible allí desde el punto de vista de la IA?

Obviamente, AI, y particularmente ML, es codicioso en términos de la cantidad de datos que necesita. Necesita aprender rápido. ¿Qué es lo que realmente podemos hacer en Edge? Creo que ahí es donde comienza esta discusión. Blockchain o registros distribuidos son otras áreas de consideración aquí. Por lo general, verá la necesidad de una gran confianza, particularmente desde el punto de vista de los datos. También es necesario confiar en los conocimientos que estamos generando, cómo reaccionamos y los elementos procesables que surgen de estos hallazgos. Eso genera una necesidad adicional desde la perspectiva general de seguridad, privacidad y gobernanza. Debe tener todo esto en cuenta dentro de esa experiencia, ya sea una persona de negocios, un individuo o una flota de vehículos.

Smith: Si tomamos una estimación general de que hay, digamos entre 20 y 30 mil millones de dispositivos IoT conectados hoy. Volviendo atrás, dijo, creo que fue en 2014 más o menos cuando la cantidad de dispositivos móviles conectados superó la cantidad de personas en el mundo, ¿verdad? Luego, en 2017, los dispositivos IoT también superaron a la población humana mundial.

Tabet: Sí. Así es.

Smith: Ha sido un gran salto, y va a seguir saltando. ¿Va a contratar a 27 mil millones de personas para salir y mantener estos dispositivos Edge? Luego, recorriendo la pila de la infraestructura, obviamente, no es un mapeo 1:1, pero es físicamente imposible contratar suficientes administradores de bases de datos, científicos de datos, arquitectos e ingenieros. En cambio, se trata de impulsar la automatización y la optimización en Edge. Solo el gran volumen de datos y, comoDr. Tabet mencionó la avidez de aplicaciones y funciones, específicamente en IA. Debe poder procesar una gran cantidad de información por múltiples razones, una de las cuales es el costo. Quiere analizar qué datos son realmente valiosos en Edge antes de comenzar a enviarlos al centro de datos o a la nube.

El papel de AI/ML con Edge

RTInsights: ¿Por qué necesitamos AI/ML cuando hablamos de Edge?

Tabet: Hay varias razones. En primer lugar, está el por qué. Desde la perspectiva de la automatización, AI y ML son una forma de automatizar más y ser un poco más disciplinados al respecto, y eso se hace en Edge. Ves eso hoy. Debe ser reforzado por esta visión de construir este continuo de la nube al borde, incluido el plano de datos o el plano de control y los kits de desarrollo, etcétera, que los desarrolladores sientan que si estoy escribiendo para el borde, es lo mismo que la nube.

Desde la perspectiva de la IA, la automatización es algo importante. En Edge, no realizará el procesamiento verdaderamente profundo allí (es decir, Deep Learning – DL), al menos no por lo general. El otro aspecto que creo que es realmente importante es el hecho de que los conocimientos que obtendrá muy rápidamente en Edge a menudo serán diferentes de los que traerá a sus centros de datos o a su nube, conectándolos con otros tipos de información En ese punto, está perdiendo una gran cantidad de impulso de inteligencia, en términos de los conocimientos que está obteniendo o la toma de decisiones que tomará si lo hace en The Edge. Aún así, Edge necesita IA. Van de la mano.

Smith: Creo que la otra razón es comercial. Todas estas "cosas, sensores, actuadores, dispositivos" pueden ser tan grandes como un hogar conectado, un crucero conectado o un automóvil conectado. O pueden estar dentro o sobre una fábrica, un tractor o una bomba. En pocas palabras, todas las industrias ahora se están mercantilizando, ¿verdad? Existe la opción de construir y comprar cosas en todo el mundo. Las formas en que las empresas intentan diferenciarse es a través de servicios en asociación con los productos y activos que venden. Cuanto más se valore, muchas empresas están cambiando de un producto a un servicio. Se llama transformación de producto a servicio.

Están tratando de vender sus activos como servicios. A veces es incluso un cambio en el modelo de negocio y pasa de CapEx a OpEx. A veces solo van a vender como CapEx, pero pueden vender un conjunto adicional de servicios o simplemente usarlo como un diferenciador cuando sus productos son inteligentes y están conectados. Nuevamente, como mencionó Said, optimizar y automatizar y poder obtenga los datos correctos en el momento correcto, y el lugar correcto permitirá a las empresas competir. Simplemente fabricar un artículo ya no siempre genera valor.

Tabet: Una cosa más que quiero agregar es que en Edge, si estamos viendo estas decenas o cientos de miles de dispositivos de una sola empresa u organización, ya sea en vehículos autónomos, estamos viendo las instancias de autos, cada uno de esos autos pueden comportarse de manera diferente en diferentes entornos. Aprender de eso es muy importante cuando lo unes. Es lo mismo en la automatización industrial. Puede mirar turbinas eólicas, motores en aviones o atención médica. En muchos de estos entornos diferentes, tiene un rendimiento mucho más preciso, mucho más eficiente y mejor de estos módulos de IA, o algoritmos de IA cuando lleva esa información al centro de datos o a la nube. En otras palabras, si bien definitivamente hay valor en los datos de un activo, comienza a obtener información valiosa de las flotas de activos conectados y sus interacciones en diferentes entornos.

Decidir dónde debe hacerse Edge AI/ML

RTInsights: ¿Dónde se realiza el trabajo de cómputo AI/ML para las aplicaciones Edge?

Tabet: Esto se remonta al punto anterior donde, en muchos de estos casos, los algoritmos de IA necesitaban una gran cantidad de datos para entrenar. Usted hace eso (y hay desacuerdo) en el centro de datos o en la nube, en un entorno centralizado donde puede tener estas capacidades informáticas de alta potencia. En Edge, implementaría estos algoritmos, y pueden ser mucho más eficientes para usar con fines de influencia en Edge. Obviamente, se habla de que, en algún momento, también podremos hacer algún nivel de entrenamiento en Edge. Esto estará limitado al principio debido a las fuertes restricciones de la mayoría de los entornos Edge.

Consideraciones para Edge Computing

RTInsights: ¿Cuáles son los requisitos para las soluciones informáticas en Edge?

Tabet: Bueno, esto es muy complicado, porque hay diferentes definiciones de lo que es Edge. Hablas con un fabricante de autos y dicen que mi auto es el Edge. Cuando habla con un fabricante de turbinas, las turbinas eólicas son su ventaja. Los dispositivos de fabricación en una fábrica también son Edge. Van a tener diferentes ambientes. Algunos de ellos serán muy duros. En Dell, hemos tenido mucha experiencia con la computación en entornos que pueden incluir esas condiciones difíciles con fuertes vibraciones y temperaturas extremadamente altas o extremadamente bajas. Lo único que diría es el requisito número uno [para las soluciones informáticas en el borde] es el consumo de energía. Tiene que ser de baja potencia. Esto va en contra de todo lo que sabemos, particularmente en HPC, ¿verdad? Estás usando muchas GPU, tienes calor y necesitas energía. Eso no es posible en estos entornos [Edge]. Tendremos que llevar eso [los componentes informáticos] a otro factor de forma, o posiblemente incluso podamos pensar en términos de diferentes tipos de aceleradores, como una nueva generación de AI específico. tipos de aceleradores que surgirán en los próximos años.

Smith: Lo bueno e interesante es que podemos trabajar continuamente en una forma robusta para entornos hostiles y poder trabajar en, digamos, cinco grados bajo cero, a veces 10 grados centígrados y luego hasta más de 55 grados centígrados. Como mencionó el Dr. Tabet, para entornos peligrosos o hostiles, debe poder evitar problemas asociados con la vibración, el impacto y todo ese tipo de jazz. Sin embargo, podemos hacer que los factores de forma sean cada vez más pequeños. Claramente , hacemos esto con la ayuda de nuestros socios y desarrolladores de chips.

Lo que es interesante es esta noción de hacer que los factores de forma sean más pequeños y resistentes, y al mismo tiempo hacerlos tan simples de operar y usar como sea posible. Desde el punto de vista de la aplicación, no se trata de que la nube se ejecute en el borde per se, aunque eso también puede suceder. Se trata más de que los principios nativos de la nube se lleven a Edge. La sencillez y facilidad con la que puede realizar la portabilidad, ya sean contenedores o VM [máquinas virtuales], a diferentes tipos de infraestructura y diferentes tipos de entornos, y tener una vista de panel único. Eso también puede potencialmente habilitar un entorno de múltiples nubes. The Edge puede ser su nuevo punto de control, su nueva visibilidad de panel de vidrio de lo que está sucediendo que cierra la brecha entre el lado de OT, o tecnología operativa, y el lado de TI. Es fascinante. Es una nueva frontera para la exploración, y diría que está impulsando una gran parte de las hojas de ruta de productos para el futuro.

Casos de uso de Edge AI/ML

RTInsights: ¿Puede dar algunos ejemplos de aplicaciones AI/ML Edge?

Tabet: Uno en el que he estado trabajando durante algunos años es sobre los desafíos relacionados con las aplicaciones de movilidad [como los vehículos autónomos]. Trabajando con varias organizaciones y con nuestros clientes directamente, estamos viendo cómo podemos traer diferentes capacidades a este mercado. Lo resumiré un poco y también le daré los ejemplos que podrían facilitar este tipo de implementación perimetral. Hay casos de uso para Edge en lo que llamamos RSU, las unidades de carretera, los propios vehículos o con la detección de lo que están haciendo. Algunos de estos ejemplos son versiones extendidas de lo que llamamos mapas HD, mapas de alta definición, donde los mapas son semánticamente ricos, basados ​​en el contexto y se actualizan casi en tiempo real.

Ese es un ejemplo en el que se utiliza la IA para reducir la cantidad y el costo de los datos que se transfieren. Solo se ocupa de lo que necesita para esos servicios específicos. Por ejemplo, los videos se pueden reducir. Puede reducir la cantidad de datos. Puede concentrarse en objetos muy específicos que desea detectar. Éstos son el tipo de ejemplos a ese nivel que pueden ayudar.

Otros están relacionados con la salud de esos dispositivos Edge, donde está monitoreando un dispositivo específico, un motor, un automóvil completo, etcétera, y está tratando de hacer el mayor análisis posible a nivel de vehículo o dispositivo, particularmente por seguridad. (es decir, monitoreo basado en condiciones en muchos casos de uso de IoT).

También hay otros ejemplos en el dominio minorista, donde verá mucho más Edgedeployment, pero de una manera diferente. En cierto sentido, tiene esa conexión desde el borde hasta la nube y el centro de datos, en la nube del borde, como la llamamos, donde hace todo lo que puede en el borde. [The Edge es donde] está reuniendo los datos y haciendo todo el análisis que se necesita. Está brindando una mejor experiencia al usuario final, en el caso del comercio minorista, por ejemplo. Está tratando de personalizar esa experiencia para ellos de modo que pueda minimizar el costo, pero también optimizar los servicios.

En este momento, particularmente en la situación en la que nos encontramos, hay muchos casos que están relacionados con la atención médica. ¿Cuántos datos podemos recopilar y reaccionar lo más rápido posible en el Edge? Normalmente estamos hablando de un entorno distribuido en el escala de los cientos de miles o millones de dispositivos, como decía Calvin. Esta es un área donde AI y ML pueden desempeñar un papel mucho más importante. Hablamos de los cambios de datos todo el tiempo, y con las capacidades de IA, algunas de estas aplicaciones se adaptarían. El aprendizaje continúa y el entrenamiento continúa en ese nivel.

En todas estas áreas (salud, comercio minorista, vehículos autónomos, movilidad en general y muchas otras áreas), está reduciendo los costos a través del mantenimiento predictivo o condicional. Edge también le brinda la capacidad de controlar dispositivos de forma remota, por lo que si sus expertos no pueden ir de manera segura al lugar donde se recopilan los datos, pueden proporcionar esa capacidad de forma remota e incluso incluir cosas como AR o VR. Pero también hace la mayor parte del trabajo con anticipación en Edge, por lo que puede minimizar su presencia, si es necesario, en persona. Esos son solo algunos ejemplos.

Smith: Agregaría dos más que son importantes. Una es que tenemos un gran negocio en torno a la seguridad y la protección. Como mencionó Said, es posible que esté ejecutando algoritmos muy grandes y procesando los datos para cosas como... bueno, déjeme darle un ejemplo. Imagina que tienes un escenario en el que hay un disparo en un lugar público, digamos fuera de una gasolinera. Necesita tomar muchas decisiones automáticas e inmediatas para averiguar qué curso de acción tomar. Una cosa es pensar en el reconocimiento de disparos desde el punto de vista del audio, pero correlacionarlo con el reconocimiento de objetos desde el punto de vista de la visión por computadora para mostrar realmente que era un arma. , y no solo un coche petardeando.

Luego, si tiene un perpetrador que hizo esto, también puede tener lo que ahora son algoritmos bastante simplistas que se pueden ejecutar en Edge, pero probablemente se originaron en el centro de datos, para cosas como el reconocimiento de matrículas. Luego, puede identificar la matrícula del sospechoso que huye. Todo está automatizado y se ejecuta en Edge. Hay muchos casos de uso en esa área que involucran cámaras, vigilancia, seguridad y seguridad general para los ciudadanos.

La otra área de caso de gran uso, que creo que sería negligente no mencionar, es el Aprendizaje Profundo para Instalaciones Inteligentes, que es un banco de pruebas en el Consorcio de Internet Industrial que comenzamos hace bastante tiempo con Toshiba. Desde sus inicios, también hemos agregado SAS y Wipro, con diferentes compañías que aportan diferentes valores a la mesa.

La idea original era construir una enorme instalación diseñada con tecnología de punta. Si no me equivoco, creo que fue construido en 2011, y ya tenía, ¿cuántos sensores, Said? ¿Como 20.000 sensores o algo así?

Tabet: Más que eso, diría yo. Probablemente eran 35 000 cuando se construyó en 2011.

Smith: 35.000, correcto. Era una instalación completamente nueva y de última generación, pero los diseñadores querían ir más allá y aprender y hacer más. Se implementó una red neuronal a través de una serie de servidores que se conectaban a un servidor de parámetros, lo que permitía que el edificio esencialmente aprendiera por sí mismo en asociación con sus sistemas críticos. Estamos hablando de cosas como ascensores y escaleras mecánicas y, por supuesto, cosas de alto costo como los sistemas HVAC. La idea era hacer, al menos inicialmente, detección de anomalías y buscar correlaciones entre cosas que una persona (sin IA) sería difícil de encontrar.

Por ejemplo, hubo algunos descubrimientos muy fascinantes sobre cosas que sucedían en la cocina. Los datos determinaron que esos sucesos en realidad aumentaron los costos y, debido a esas acciones, se cerraron secciones específicas de ventilación. Es increíble lo que puedes comenzar a encontrar cuando son los datos en lugar de humanos investigando cosas. Estamos hablando de una verdadera red neuronal profunda en la que se aprende a sí misma:se enseña a sí misma qué encontrar, busca correlaciones cruzadas que los humanos normalmente no determinarían por sí mismos. Cuando realmente lo piensas, todo esto estaba en el "Edge". Todo esto se está ejecutando dentro del edificio. Luego, parte del procesamiento central, por supuesto, estaba de vuelta en el centro de datos.

Tabet: En un caso de uso más reciente para un proyecto, agregamos una serie de dispositivos, similares a todos estos activos que se ocupan de HVAC y otras cosas dentro del edificio. Cada uno de ellos estaba equipado con sus propios algoritmos de aprendizaje automático o algoritmos de IA en algunos casos, y eso les permitió ser autosostenibles, pero al mismo tiempo, aprender unos de otros. Volviendo a la historia de Calvin, esto se hace de tal manera que vamos a ver más y más de este tipo de IA autónoma, si pudiera usar ese término. Realmente, la idea de que no le damos dirección, sino que con el tiempo se va autonivelando y autoaprendiendo en cuanto a sus parámetros y la optimización de la productividad que se requiere.