Qualcomm prepara la oferta de IA de borde

Casi 18 meses después del anuncio inicial del acelerador Cloud AI 100 AI, Qualcomm ha publicado algunos detalles adicionales de los factores de forma de la solución en los que estará disponible este chip, y algunas cifras de rendimiento para esas tarjetas. El gigante del silicio móvil reveló que el silicio final de Cloud AI 100 está en producción y se enviará en la primera mitad de 2021.

El Cloud AI 100 se lanzó hace casi 18 meses en abril de 2019. Si bien Qualcomm domina el mercado de procesadores de teléfonos inteligentes con su línea Snapdragon, las ofertas de Qualcomm para servidores no habían despegado anteriormente:su línea Centriq basada en Arm se retiró en 2018 solo un año después lanzamiento. Por lo tanto, el fabricante de silicio móvil ve el Cloud AI 100 como una forma de ingresar al mercado de servidores de borde.

Cloud AI 100 de Qualcomm está dirigido a aplicaciones cercanas al borde, incluidos centros de datos empresariales e infraestructura 5G (Imagen:Qualcomm)

Factores de forma

Si bien muchos detalles del chip Cloud AI 100 aún están en secreto, ahora sabemos que inicialmente estará disponible en tres tipos de tarjetas. Se trata de un factor de forma dual M.2 edge (DM.2e) que ofrece más de 50 TOPS a 15 Watts, una tarjeta dual M.2 (DM.2) que está configurada para 200 TOPS a 25 Watts y una tarjeta PCIe que viene en alrededor de 400 TOPS a 75 Watts. (Qualcomm señaló que estas son cifras TOPS "sin procesar", el máximo teórico, y no representan el cálculo que podría lograrse en una aplicación real).

Qualcomm parece haber transferido su habilidad en el diseño de procesadores de bajo consumo del espacio móvil al mercado de aceleradores de inteligencia artificial de vanguardia. Si bien el diseño de Cloud AI 100 no se basa en los bloques de aceleración de AI que se encuentran en los procesadores Snapdragon, el rendimiento por vatios parece impresionante. Las diapositivas mostradas por Qualcomm durante su sesión informativa para los medios contenían un gráfico en el que la versión de la tarjeta PCIe de Cloud AI 100 superaba en rendimiento a muchas de las soluciones más populares de la industria mientras usaba solo una fracción de la potencia. Estos son números de rendimiento medidos en comparación con los números notificados públicamente de otros proveedores, según Qualcomm.

haga clic para ampliar la imagen

Inferencias de IA Resnet-50 por segundo para hardware de inferencia de IA popular frente al consumo de energía, según las cifras de Qualcomm. Las tarjetas de Qualcomm parecen funcionar particularmente bien cuando se trata de eficiencia energética. El tamaño del lote es 8 para todos los puntos del gráfico excepto Nvidia A100. (Imagen:Qualcomm)

"En Qualcomm, tenemos una larga tradición en I + D de IA", dijo John Kehrli, director senior de gestión de productos de Qualcomm. “En realidad, estamos en nuestra solución de quinta generación desde el lado móvil, tenemos más de 11 años de I + D muy activo. Entonces, estamos aprovechando ese conocimiento, esa experiencia en la industria, pero este es un núcleo de IA diferente, no es lo mismo que el móvil, pero lo estamos aprovechando desde ese espacio ".

El Cloud AI 100 es un acelerador de inferencia que tiene hasta 16 núcleos de procesador AI que admiten INT8, INT16, FP16 y FP32. Está construido sobre una tecnología de proceso FinFET de 7 nm. Hay hasta 144 MB de SRAM en la matriz; se comparten 128 MB entre los núcleos y cada núcleo tiene 1 MB adicional. La tarjeta admite hasta 32 GB de DRAM en el nivel de la tarjeta con un ancho de banda de memoria de 4x 64 LPDDR4x funcionando a hasta 2,1 GHz.

Aplicaciones Edge

El Cloud AI 100 se puede utilizar para sistemas de recomendación y traducción de idiomas, conducción autónoma, habla, visión por computadora. Hoy, Qualcomm está posicionando su silicio Cloud AI 100 para la inferencia de IA en cuatro mercados clave. Son centros de datos fuera de la nube, ADAS, cajas de borde 5G e infraestructura 5G.

La inferencia de inteligencia artificial en los centros de datos en el borde de la nube impulsa todo, desde los motores de recomendación utilizados para publicar anuncios y personalizar las fuentes de noticias hasta una computación de inteligencia artificial más específica de la aplicación.

Lo que Qualcomm llama "cajas de borde 5G" son más como dispositivos independientes integrados en las instalaciones. Estos pueden implementarse como parte de la infraestructura de ciudad inteligente en postes de telégrafo o en empresas, y usarse para impulsar aplicaciones de gestión de tráfico, seguridad pública y ciudad inteligente.

Un derivado de Cloud AI 100 se utiliza para impulsar el procesamiento de IA para la conducción autónoma en la plataforma Qualcomm Snapdragon Ride (este derivado comparte una arquitectura común y una cadena de herramientas de software, dijo Kehrli).

La aplicación de Cloud AI 100 en la infraestructura 5G sería acelerar algoritmos complejos como la formación de haces, que ahora usan IA para administrar de manera eficiente las estaciones base 5G.

Diseño de referencia

Qualcomm también anunció su nuevo kit de desarrollo Cloud AI 100. Esto incluye un diseño de referencia para una caja de borde 5G con tecnología Cloud AI 100 junto con una aplicación Snapdragon 865 y un procesador de video como procesador host (que proporciona una canalización de video completa que admite hasta 24 transmisiones de decodificación de video Full HD, con espacio para el cliente desarrollo de aplicaciones). El diseño de referencia también utiliza un módulo 5G precertificado basado en un módem Snapdragon X55 5G.

"Esta es realmente una oportunidad totalmente nueva para nosotros que nos entusiasma mucho", dijo Kehrli. “El objetivo [del kit de desarrollo] es que los clientes que estén interesados ​​en este espacio ejecuten rápida y fácilmente una aplicación de demostración de inmediato; incluso viene con un ResNet-50 precompilado como demostración”.

Una caja de borde 5G como esta podría estar realizando análisis en las instalaciones para la transmisión de video de seguridad en un centro comercial o una aplicación de seguridad en una planta de fabricación, dijo Kehrli.

Programación

Los primeros clientes en adoptar Cloud AI 100 probablemente estarán en el borde, en ciudades inteligentes, minoristas y manufactura, dijo Kehrli.

"Espero que nuestras primeras implementaciones comerciales sean más en el borde que en el lado del centro de datos, donde hay un ciclo mucho, mucho más largo para ponerlo en producción", dijo. “Eso no quiere decir que no tengamos una tracción y oportunidades significativas allí, pero espero que las implementaciones de borde 5G sean mucho más rápidas y cosas como nuestro módulo 5G precertificado lo hace mucho más fácil. Muchos de estos clientes con los que trabajamos no son sus clientes móviles tradicionales. Por lo tanto, al proporcionarles una solución que ya está precertificada, pueden lanzarse al mercado rápidamente. Entonces, [las aplicaciones] en ese espacio aparecerán más rápido ".

El silicio final para Qualcomm Cloud AI 100 ha entrado en producción, se está probando ahora a varios clientes y se enviará durante la primera mitad de 2021. El kit de desarrollo de borde se probará el próximo mes, pero solo para clientes seleccionados.

>> Este artículo se publicó originalmente el nuestro sitio hermano, EE Times.