Desbloqueando insights accionables en el Edge con IA y ML

Si los datos comienzan en el Edge, ¿por qué no podemos hacer lo máximo posible allí mismo desde el punto de vista de la IA?

El crecimiento explosivo de dispositivos y aplicaciones Edge requiere nuevo pensamiento sobre dónde y cómo se analizan los datos y se derivan insights. Nuevas opciones de edge computing, acopladas con requisitos más exigentes de velocidad para obtener insights en muchos casos de uso, están impulsando el uso de inteligencia artificial (IA) y machine learning (ML) en aplicaciones Edge.

Dónde se aplican la IA y ML (en el Edge, en un centro de datos o instalación cloud) es un asunto complejo. Para obtener insights sobre estrategias actuales y mejores prácticas, conversamos recientemente con Said Tabet, Chief Architect, AI/ML & Edge; y Calvin Smith, CTO, Emerging Technology Solutions; ambos en la Oficina del CTO Global de Dell Technologies.

Discutimos la creciente necesidad de IA y ML para dar sentido a la gran cantidad de datos Edge generados hoy, los requisitos de cómputo para IA/ML en aplicaciones Edge, y si tales cómputos deben hacerse en el Edge o en un centro de datos o cloud.

Tendencias emergentes

RTInsights: ¿Cuáles son las tendencias emergentes de hoy, y cómo encajan IA y ML en la discusión del Edge?

Tabet: Hoy, cuando la gente habla de tendencias emergentes, a menudo menciona muchas cosas como Edge, IoT, IA/ML, realidad aumentada, virtual, blockchain y 5G. Posicionamos el Edge como lo siguiente en términos de hacia dónde vamos con estas tecnologías —no solo tendencias, sino verdadera adopción. Creo que desde la perspectiva de los datos y la experiencia de usuario, hay una necesidad de insight y, gracias a nuestra impaciencia como humanos, unida a problemas de latencia reales, obtener ese insight lo más rápido posible. También la idea de que si los datos empiezan en el Edge, ¿por qué no podemos hacer lo máximo posible allí mismo desde un punto de vista de IA?

Obviamente, la IA, y particularmente el ML, es voraz en cuanto a cantidad de datos que necesita. Necesita aprender rápido. ¿Qué es lo que realmente podemos hacer en el Edge? Ahí es donde empieza esta discusión. Blockchain o ledgers distribuidos son otras áreas de consideración. Típicamente, vas a ver una necesidad de gran confianza, particularmente desde el punto de vista de los datos. También debe haber confianza en los insights que generamos, cómo reaccionamos y los elementos accionables que vienen de estos hallazgos. Eso trae necesidad adicional desde la perspectiva general de seguridad, privacidad y gobernanza. Hay que tener todo esto en cuenta dentro de esa experiencia, seas una persona de negocio, un individuo o una flota de vehículos.

Smith: Si tomamos una estimación general de que hay, digamos, entre 20 y 30 mil millones de dispositivos IoT conectados hoy. Volviendo atrás, Said, creo que fue en 2014 que el número de dispositivos móviles conectados superó la población mundial, ¿verdad? Luego en 2017, los dispositivos IoT superaron la población humana global también.

Tabet: Sí. Así es.

Smith: Ha sido un gran salto, y seguirá saltando. ¿Vas a contratar 27.000 millones de personas para mantener estos dispositivos Edge? Luego, subiendo por la pila de infraestructura, obviamente no es un mapeo 1:1, pero es físicamente imposible contratar suficientes administradores de bases de datos, científicos de datos, arquitectos e ingenieros. En su lugar, todo se trata de impulsar automatización y optimización en el Edge. Solo el volumen masivo de datos, y, como mencionó el Dr. Tabet, la voracidad de aplicaciones y funciones, específicamente en IA. Necesitas poder procesar mucha información por múltiples razones, una siendo el coste. Quieres analizar qué datos son realmente valiosos en el Edge antes de empezar a enviarlos al centro de datos o cloud.

El papel de IA/ML con Edge

RTInsights: ¿Por qué necesitamos IA/ML cuando hablamos de Edge?

Tabet: Hay varias razones. Primero, el porqué. Desde la perspectiva de automatización, IA y ML son una forma de automatizar más y ser un poco más disciplinados al respecto, y lo haces en el Edge. Lo ves hoy. Necesita ser reforzado por esta visión de construir este continuo de la nube al Edge, incluyendo el plano de datos, o el plano de control, y los kits de desarrollo, etc., que los desarrolladores sientan que si escribo para el Edge, es lo mismo que la nube.

Desde la perspectiva de IA, la automatización es algo grande. En el Edge, no harás el procesamiento verdaderamente profundo allí (es decir, Deep Learning – DL), al menos no usualmente. El otro aspecto que creo es realmente importante es el hecho de que los insights que obtienes muy rápido en el Edge a menudo serán diferentes de los que llevarás a tus centros de datos o a tu nube, conectándolos con otros tipos de información. En ese punto, estás perdiendo una gran cantidad de momentum de inteligencia, en términos de insights que obtienes, o la toma de decisiones que vas a hacer si lo haces en el Edge. Aun así, el Edge necesita IA. Van de la mano.

Smith: Creo que la otra razón es de negocio. Todos estos «cosas, sensores, actuadores, dispositivos», pueden ser tan grandes como un hogar conectado, un crucero conectado o un coche conectado. O pueden estar en o sobre una fábrica, un tractor o una bomba. Resumiendo, todas las industrias ahora se están commoditizando, ¿verdad? Hay opción de construir y comprar cosas por todo el globo. Las formas en que las empresas intentan diferenciarse es a través de servicios asociados con los productos y activos que venden. Cuanto más puedes derivar valor, muchas empresas están cambiando de producto a servicio. Se llama transformación producto-a-servicio.

Intentan vender sus activos como servicios. A veces es incluso un cambio en el modelo de negocio y pasa de CapEx a OpEx. A veces aún solo venden como CapEx, pero pueden vender un conjunto adicional de servicios o usarlo como diferenciador cuando sus productos son inteligentes y conectados. De nuevo, como mencionó Said, optimizar y automatizar y poder traer los datos correctos en el momento y lugar correctos permite a las empresas competir. Simplemente fabricar un artículo no siempre deriva valor ya.

Tabet: Una cosa más que quiero añadir: en el Edge, si miramos estas decenas o cientos de miles de dispositivos de una sola empresa u organización, ya sea en vehículos autónomos, miras los coches como instancias, cada uno de esos coches puede comportarse diferente bajo diferentes entornos. Aprender de eso es muy importante cuando lo juntas. Lo mismo en automatización industrial. Puedes mirar turbinas eólicas, motores de aviones, o salud. En muchos de estos entornos diferentes, tienes un rendimiento mucho más preciso, eficiente y mejor de estos módulos de IA o algoritmos cuando traes esa información de vuelta al centro de datos o la nube. En otras palabras, aunque definitivamente hay valor en datos de un activo, empiezas a obtener verdaderos insights de flotas conectadas de activos y sus interacciones en diferentes entornos.

Decidiendo dónde debe hacerse el Edge AI/ML

RTInsights: ¿Dónde se hace el trabajo de cómputo IA/ML para aplicaciones Edge?

Tabet: Esto vuelve al punto anterior donde en muchos de estos casos, los algoritmos de IA necesitan una gran cantidad de datos para entrenar. Eso se hace (y hay desacuerdo) en el centro de datos o en la nube, en un entorno centralizado donde puedes tener capacidades de cómputo de alta potencia. En el Edge, desplegarías estos algoritmos, y pueden ser mucho más eficientes para propósitos de influencia en el Edge. Obviamente hay話, donde en algún punto, podremos hacer algún nivel de entrenamiento en el Edge también. Esto será limitado al principio debido a las fuertes restricciones de la mayoría de entornos Edge.

Consideraciones para Edge Computing

RTInsights: ¿Cuáles son los requisitos para soluciones de cómputo en el Edge?

Tabet: Bueno, esto es muy complicado, porque hay diferentes definiciones de qué es Edge. Hablas con un fabricante de coches, y dicen mi coche es el Edge. Hablas con un fabricante de turbinas eólicas, las turbinas son su Edge. Dispositivos de manufactura en una fábrica son Edge también. Tendrán diferentes entornos. Algunos serán muy duros. En Dell, hemos tenido gran experiencia con cómputo en entornos que pueden incluir esas condiciones duras con vibraciones fuertes y temperaturas extremadamente altas o bajas. Lo único que diría es que el requisito número uno [para soluciones de cómputo en el Edge] es consumo de energía. Tiene que ser bajo consumo. Esto va contra todo lo que sabemos, particularmente en HPC, ¿verdad? Usas muchas GPUs, tienes calor, y necesitas energía. Eso no es posible en estos [entornos Edge]. Tendremos que traer eso [los componentes de cómputo] a otro factor de forma, o posiblemente incluso pensemos en términos de diferentes tipos de aceleradores, como una nueva generación de aceleradores específicos de IA que vienen en los próximos años.

Smith: Lo genial e interesante es que continuamente podemos trabajar de forma robusta para entornos duros y poder trabajar en, digamos, menos cinco, a veces 10 grados Celsius y hasta 55+ grados Celsius. Como mencionó el Dr. Tabet, para entornos peligrosos o duros, necesitas poder prevenir problemas asociados con vibración, choque y todo ese jazz. Sin embargo, continuamente podemos hacer los factores de forma más pequeños y más pequeños. Claramente, lo hacemos con la ayuda de nuestros socios y desarrolladores de chips.

Lo interesante es esta noción de hacer los factores de forma más pequeños y robustos, y al mismo tiempo, hacerlos tan simples de operar y usar como sea posible. Desde el punto de vista de la aplicación, no se trata de que la nube se ejecute en el Edge, per se, aunque eso también puede pasar. Se trata más de principios cloud-native llevados al Edge. La simplicidad y facilidad con la que puedes portar, sean contenedores o VMs [máquinas virtuales], a diferentes tipos de infraestructura y entornos, y tener una vista single-pane-of-glass. Eso también potencialmente puede habilitar un entorno multi-cloud. El Edge puede ser tu nuevo punto de control, tu nuevo panel de visibilidad en lo que ocurre que puentea el gap entre OT, o tecnología operacional, y el lado IT. Es fascinante. Es una nueva frontera para exploración, y está impulsando gran parte de los roadmaps de producto para el futuro, diría.

Casos de uso Edge AI/ML

RTInsights: ¿Pueden dar ejemplos de aplicaciones Edge AI/ML?

Tabet: Uno en el que he trabajado unos años es alrededor de desafíos relacionados con aplicaciones de movilidad [como vehículos autónomos]. Trabajando con varias organizaciones y con nuestros clientes directamente, miramos cómo podemos traer diferentes capacidades a este mercado. Lo abstraeré un poco y daré ejemplos que podrían facilitar este tipo de despliegue Edge. Hay casos de uso para Edge en lo que llamamos RSU, unidades en la carretera, los propios vehículos, o con el sensing que hacen. Algunos de estos ejemplos son versiones extendidas de lo que llamamos mapas HD, mapas de alta definición, donde los mapas son semánticamente ricos, impulsados por contexto y se actualizan en tiempo casi real.

Ese es un ejemplo donde IA se usa para reducir la cantidad y coste de datos que se transfieren. Solo tratas con lo que necesitas para esos servicios específicos. Por ejemplo, videos pueden reducirse. Puedes reducir la cantidad de datos. Puedes enfocarte en objetos muy específicos que quieres detectar. Esos son los ejemplos a ese nivel que pueden ayudar.

Otros están relacionados con la salud de esos dispositivos Edge, donde monitorizas un dispositivo específico, un motor, un coche entero, etc., e intentas hacer el máximo análisis posible a nivel de vehículo o dispositivo, particularmente por razones de seguridad (es decir, monitorización basada en condición en muchos casos de uso IoT).

Hay otros ejemplos en el dominio retail, donde verás mucho más despliegue Edge, pero de forma diferente. En el sentido de que tienes esa conexión del Edge a la nube al centro de datos, en el Edge cloud, como lo llamamos, donde haces todo lo que puedas en el Edge. [El Edge es donde] recopilas los datos y haces todo el análisis necesario. Proporcionas una mejor experiencia al usuario final, en el caso de retail, por ejemplo. Intentas personalizar esa experiencia para ellos de modo que minimices el coste pero también optimices los servicios.

Ahora, particularmente en la situación en la que estamos, hay muchos casos relacionados con salud. ¿Cuántos datos podemos recopilar y reaccionar lo más rápido posible en el Edge? Normalmente hablamos de un entorno distribuido a escala de cientos de miles o millones de dispositivos, como decía Calvin. Esta es un área donde IA y ML pueden jugar un papel mucho mayor. Hablamos de que los datos cambian todo el tiempo, y con capacidades de IA, algunas de estas aplicaciones se adaptarían a sí mismas. El aprendizaje continúa, y el entrenamiento continúa en ese nivel.

En todas estas áreas —salud, retail, vehículos autónomos, movilidad en general y muchas otras— estás reduciendo costes mediante mantenimiento predictivo o condicional. El Edge también te da la capacidad de control remoto de dispositivos, así que si tus expertos no pueden ir con seguridad al lugar donde se recopilan los datos, pueden realmente proporcionar esa capacidad remotamente, e incluso incluir cosas como AR o VR. Pero también haces la mayor parte del trabajo por adelantado en el Edge, para minimizar su presencia, si es necesario, en persona. Esos son solo algunos ejemplos.

Smith: Añadiría dos más que son importantes. Uno es que tenemos un gran negocio en y alrededor de seguridad y safety. Como mencionó Said, puedes estar corriendo algoritmos muy grandes, y procesando datos para cosas como... déjame dar un ejemplo. Imagina un escenario donde hay un tiroteo en un lugar público, digamos fuera de una gasolinera. Necesitas tomar muchas decisiones automatizadas e inmediatas para averiguar qué curso de acción tomar. Una cosa es, piensa en reconocimiento de disparos desde audio, pero correlaciónalo con reconocimiento de objetos desde visión por computadora para mostrar que era un arma, y no solo un coche petardeando.

Luego, si tienes un perpetrador que hizo esto, también puedes tener algoritmos ahora bastante simples que pueden ejecutarse en el Edge, pero probablemente originados en el centro de datos, para cosas como reconocimiento de matrículas. Luego, puedes identificar la matrícula del sospechoso que huye. Todo automatizado y ejecutado en el Edge. Hay muchos casos de uso en esa área involucrando cámaras, vigilancia, seguridad y safety general para ciudadanos.

El otro gran área de casos de uso, que creo que seríamos negligentes no mencionar, es Deep Learning para Smart Facilities, que es un testbed en el Industrial Internet Consortium que empezamos hace un tiempo con Toshiba. Desde su inicio, también hemos añadido a SAS y Wipro, con diferentes empresas aportando diferentes valores.

La noción original era construir una instalación enorme diseñada como state-of-the-art. Si no me equivoco, creo que se construyó en 2011, y ya tenía, cuántos sensores, Said? ¿Como 20.000 sensores o algo así?

Tabet: Más que eso, diría. Probablemente 35.000 cuando se construyó en 2011.

Smith: 35.000, correcto. Era una instalación nueva, state-of-the-art, pero los diseñadores querían empujar el sobre y aprender y hacer más. Una red neuronal se implementó a través de una serie de servidores que conectaban a un servidor de parámetros, dejando que el edificio esencialmente se auto-aprendiera en asociación con sus sistemas críticos. Hablamos de cosas como ascensores, escaleras mecánicas, y por supuesto, cosas de alto coste como sistemas HVAC. La idea era hacer, al menos inicialmente, detección de anomalías y buscar correlaciones entre cosas que una persona (sin IA) difícilmente encontraría.

Por ejemplo, hubo hallazgos fascinantes sobre cosas que pasaban en la cocina. Los datos determinaron que esos sucesos realmente subían costes, y debido a esas acciones, secciones específicas de ventilación se cerraban. Es increíble lo que puedes empezar a encontrar cuando son los datos en lugar de humanos investigando. Hablamos de una verdadera red neuronal profunda donde se auto-aprende —enseñándose a sí misma qué encontrar, buscando correlaciones cruzadas que los humanos no determinarían normalmente. Cuando realmente lo piensas, todo esto estaba en el «Edge». Todo se ejecutaba dentro del edificio. Luego, parte del procesamiento core, por supuesto, estaba en el centro de datos.

Tabet: En un caso de uso más reciente para un proyecto, añadimos varios dispositivos, similares a todos estos activos que tratan con HVAC y otras cosas dentro del edificio. Cada uno estaba equipado con sus propios algoritmos de machine learning o IA en algunos casos, y eso les permitía ser auto-sostenibles, pero al mismo tiempo, aprender unos de otros. Volviendo a la historia de Calvin, esto se hace de forma que veremos más y más de este tipo de IA autónoma, si puedo usar ese término. Realmente, la idea de que no le damos dirección, pero con el tiempo se auto-nivela y auto-aprende en términos de sus parámetros y la optimización de la productividad requerida.