¿Qué está llevando a la IA al límite?

En 2020, pronosticamos que se venderán más de 750 millones de chips de inteligencia artificial (chips o partes de chips que realizan o aceleran las tareas de aprendizaje automático en el dispositivo, en lugar de en un centro de datos remoto), lo que representa US $ 2.6 mil millones en ingresos. Además, el mercado de chips de inteligencia artificial de vanguardia crecerá mucho más rápido que el mercado general de chips. Para 2024, esperamos que las ventas de chips de inteligencia artificial de borde superen los 1.500 millones, posiblemente en gran medida. Esto representa un crecimiento anual de las ventas unitarias de al menos un 20%, más del doble del pronóstico a largo plazo del 9% CAGR para la industria de semiconductores en general.

Es probable que estos chips de inteligencia artificial de vanguardia lleguen a un número cada vez mayor de dispositivos de consumo, como teléfonos inteligentes, tabletas, parlantes inteligentes y dispositivos portátiles de alta gama. También se utilizarán en varios mercados empresariales:robots, cámaras, sensores y otros dispositivos de IoT (Internet de las cosas) en general.

El mercado de chips de inteligencia artificial de punta para el consumidor es mucho más grande que el mercado empresarial, pero es probable que crezca más lentamente, con una tasa compuesta anual del 18% esperada entre 2020 y 2024. El mercado de chips de inteligencia artificial de punta empresarial está creciendo mucho más rápido, con una tasa compuesta anual de crecimiento prevista del 50% durante el mismo período de tiempo.

Sin embargo, en este momento, en 2020, el mercado de dispositivos de consumo probablemente representará más del 90 por ciento del mercado de chips de inteligencia artificial, tanto en términos de números vendidos como de valor en dólares. La gran mayoría de estos chips de inteligencia artificial de vanguardia se utilizarán en teléfonos inteligentes de gama alta, que representan más del 70 por ciento de todos los chips de inteligencia artificial de vanguardia que se utilizan actualmente. Por lo tanto, en 2020 y durante los próximos años, el crecimiento de los chips de inteligencia artificial estará impulsado principalmente por los teléfonos inteligentes. Creemos que más de un tercio del mercado de teléfonos inteligentes de 1.560 millones de unidades puede tener chips de inteligencia artificial de vanguardia en 2020.

Debido a los requisitos extremadamente intensivos del procesador, casi todos los cálculos de IA se han realizado de forma remota en centros de datos, en dispositivos centrales de la empresa o en procesadores de borde de telecomunicaciones, no localmente en dispositivos. Los chips Edge AI están cambiando todo eso. Son físicamente más pequeños, relativamente económicos, consumen mucha menos energía y generan mucho menos calor, lo que hace posible integrarlos en dispositivos portátiles, así como en dispositivos que no son de consumo, como robots. Al permitir que estos dispositivos realicen localmente cálculos de inteligencia artificial intensivos en el procesador, los chips de inteligencia artificial de borde reducen o eliminan la necesidad de enviar grandes cantidades de datos a una ubicación remota, lo que brinda beneficios en usabilidad, velocidad y seguridad y privacidad de los datos.

Mantener el procesamiento en el dispositivo es mejor en términos de privacidad y seguridad; La información personal que nunca sale de un teléfono no puede ser interceptada ni utilizada indebidamente. Y cuando el chip AI de borde está en el teléfono, puede hacer todas estas cosas incluso cuando no está conectado a una red.

Por supuesto, no todos los cálculos de IA tienen que realizarse localmente. Para algunas aplicaciones, enviar datos para que sean procesados ​​por una matriz de IA remota puede ser adecuado o incluso preferido, por ejemplo, cuando simplemente hay demasiados datos para que los maneje el chip de IA de borde de un dispositivo. De hecho, la mayoría de las veces, la IA se realizará de forma híbrida:una parte en el dispositivo y otra en la nube. La combinación preferida en cualquier situación determinada variará dependiendo exactamente del tipo de procesamiento de IA que deba realizarse.

Figura 1:Ubicaciones donde se puede incorporar inteligencia (Imagen:Deloitte Insights)

La economía de la inteligencia artificial perimetral en los teléfonos inteligentes

Los teléfonos inteligentes no son los únicos dispositivos que usan chips de inteligencia artificial de borde; otras categorías de dispositivos (tabletas, dispositivos portátiles, altavoces inteligentes) también los contienen. A corto plazo, estos dispositivos que no son teléfonos inteligentes probablemente tendrán un impacto mucho menor en las ventas de chips de inteligencia artificial que los teléfonos inteligentes, ya sea porque el mercado no está creciendo (como para las tabletas) o porque es demasiado pequeño para marcar una diferencia material ( por ejemplo, se espera que los altavoces inteligentes y los dispositivos portátiles combinados vendan solo 125 millones de unidades en 2020). Sin embargo, muchos dispositivos portátiles y altavoces inteligentes dependen de los chips de inteligencia artificial de vanguardia, por lo que la penetración ya es alta.

Figura 2:El mercado de chips Edge AI (Imagen:Deloitte Insights)

Actualmente, es probable que solo los teléfonos inteligentes más caros, los que se encuentran en el tercio superior de la distribución de precios, usen chips de inteligencia artificial de borde. Poner un chip de inteligencia artificial en un teléfono inteligente no tiene por qué ser un precio prohibitivo para el consumidor.

Es posible llegar a una estimación bastante sólida del chip AI de borde de un teléfono inteligente. Hasta la fecha, las imágenes de los procesadores de teléfonos en Samsung, Apple y Huawei muestran el troquel de silicio desnudo con todas sus características visibles, lo que permite identificar qué partes de los chips se utilizan para qué funciones. Una foto del chip del Exynos 9820 de Samsung muestra que aproximadamente el 5% del área total del chip está dedicada a los procesadores de inteligencia artificial. El costo de Samsung para todo el procesador de aplicaciones SoC se estima en $ 70.50, que es el segundo componente más caro del teléfono (después de la pantalla), lo que representa aproximadamente el 17% de la lista total de materiales del dispositivo. Suponiendo que la porción de IA cuesta lo mismo que el resto de los componentes sobre la base del área del dado, la unidad de procesamiento neuronal (NPU) de borde de AI de Exynos representa aproximadamente el 5% del costo total del chip. Esto se traduce en alrededor de $ 3.50 cada uno.

Figura 3:Una toma del chip para el Exynos 9820 de Samsung muestra que aproximadamente el 5% del área total del chip está dedicada a los procesadores de IA. (Imagen:ChipRebel, anotación:AnandTech)

De manera similar, el chip A12 Bionic de Apple dedica aproximadamente el 7% del área de la matriz al aprendizaje automático. Con un estimado de $ 72 para todo el procesador, esto sugiere un costo de $ 5.10 para la parte de la inteligencia artificial de borde. El chip Huawei Kirin 970, que se estima que le costará al fabricante 52,50 dólares, dedica el 2,1% del dado a la NPU, lo que sugiere un coste de 1,10 dólares. (Sin embargo, el área de la matriz no es la única forma de medir qué porcentaje del costo total de un chip se destina a la IA. Según Huawei, la NPU del Kirin 970 tiene 150 millones de transistores, lo que representa el 2,7% del total de 5,5 mil millones de transistores del chip. sugieren un costo de NPU ligeramente más alto de $ 1.42).

Figura 4:El chip A12 Bionic de Apple dedica aproximadamente el 7% del área del troquel al aprendizaje automático. (Imagen:TechInsights / AnandTech)

Aunque este rango de costos es amplio, puede ser razonable suponer que las NPU cuestan un promedio de $ 3.50 por chip. Multiplicado por 500 millones de teléfonos inteligentes (sin mencionar las tabletas, los parlantes y los dispositivos portátiles), eso lo convierte en un gran mercado, a pesar del bajo precio por chip. Más importante aún, a un costo promedio de $ 3.50 para el fabricante, y un mínimo probable de $ 1, agregar una NPU de inteligencia artificial de borde dedicada a los chips de procesamiento de teléfonos inteligentes comienza a parecer una obviedad. Suponiendo un margen normal, agregar $ 1 al costo de fabricación se traduce en solo $ 2 más para el cliente final. Esto significa que las NPU y sus beneficios asociados (una mejor cámara, asistencia de voz sin conexión, etc.) se pueden colocar incluso en un teléfono inteligente de $ 250 por un aumento de precio de menos del 1 por ciento.

Abastecimiento de chips de IA:¿de forma interna o de terceros?

Las empresas que fabrican teléfonos inteligentes y otros tipos de dispositivos adoptan diferentes enfoques para obtener chips de inteligencia artificial de vanguardia, y la decisión está impulsada por factores que incluyen el modelo de teléfono y (a veces) la geografía. Algunos compran procesadores de aplicaciones / chips de módem de empresas de terceros que se especializan en fabricarlos y venderlos a fabricantes de teléfonos, pero no fabrican sus propios teléfonos. Qualcomm y MediaTek son dos ejemplos destacados; combinadas, estas dos empresas capturaron aproximadamente el 60 por ciento del mercado de chips SoC para teléfonos inteligentes en 2018.

Tanto Qualcomm como MediaTek ofrecen una gama de SoC a varios precios; Si bien no todos incluyen un chip AI de borde, las ofertas de gama alta (incluidas Snapdragon 845 y 855 de Qualcomm y Helio P60 de MediaTek) generalmente lo hacen. En el otro extremo de la escala, Apple no usa chips AP externos en absoluto:diseña y usa sus propios procesadores SoC, como los chips Bionic A11, A12 y A13, todos los cuales tienen IA de borde.

Otros fabricantes de dispositivos, como Samsung y Huawei, utilizan una estrategia híbrida, comprando algunos SoC de proveedores de silicio del mercado comercial y utilizando sus propios chips (como Exynos 9820 de Samsung y Kirin 970/980 de Huawei) para el resto.

Más de 50 empresas de aceleración de inteligencia artificial que compiten por la inteligencia artificial de vanguardia en empresas e industrias

Si los procesadores de inteligencia artificial que se utilizan en teléfonos inteligentes y otros dispositivos son tan buenos, ¿por qué no utilizarlos también para aplicaciones empresariales? De hecho, esto ya ha sucedido para algunos casos de uso, como para algunos drones autónomos. Equipado con un procesador de aplicaciones SoC para teléfonos inteligentes, un dron es capaz de realizar la navegación y evitar obstáculos en tiempo real y completamente en el dispositivo, sin ninguna conexión de red.

Sin embargo, un chip optimizado para un teléfono inteligente o una tableta no es la elección correcta para muchas aplicaciones industriales o empresariales. Como se mencionó anteriormente, la parte de AI de borde de un SoC de teléfono inteligente es solo aproximadamente el 5% del área total, aproximadamente $ 3.50 del costo total, y usaría aproximadamente un 95 por ciento menos de energía que todo el SoC. ¿Qué pasa si alguien construye un chip que tiene solo la porción de IA de borde (junto con algunas otras funciones requeridas como la memoria) que cuestan menos, usan menos electricidad y son más pequeñas?

Bueno, lo han hecho. En total, se dice que hasta 50 empresas diferentes están trabajando en aceleradores de inteligencia artificial de varios tipos. Los chips de inteligencia artificial de borde independientes disponibles en 2019 estaban destinados a desarrolladores, que los comprarían uno a la vez por alrededor de $ 80 cada uno. En volúmenes de miles o millones, la compra de estos chips probablemente costará mucho menos a los fabricantes de dispositivos:algunos tan solo $ 1 (o posiblemente incluso menos), algunos por decenas de dólares. Por ahora, estamos asumiendo un costo promedio de alrededor de $ 3.50, utilizando el chip de inteligencia artificial del borde del teléfono inteligente como proxy.

Además de ser relativamente económicos, los procesadores de inteligencia artificial de borde independientes tienen la ventaja de ser pequeños. También tienen una potencia relativamente baja, consumiendo entre 1 y 10 vatios. A modo de comparación, un clúster de centro de datos (aunque muy poderoso) de 16 GPU y dos CPU cuesta $ 400,000, pesa 350 libras y consume 10,000 vatios de energía.

Con chips como estos en proceso, la inteligencia artificial de borde puede abrir muchas posibilidades nuevas para las empresas, particularmente con respecto a las aplicaciones de IoT. Al usar chips de inteligencia artificial, las empresas pueden aumentar en gran medida su capacidad para analizar, no solo recopilar, datos de dispositivos conectados y convertir este análisis en acción, al tiempo que evitan el costo, la complejidad y los desafíos de seguridad de enviar grandes cantidades de datos a la nube. Los problemas que los chips de IA pueden ayudar a abordar incluyen:

Seguridad y privacidad de los datos. La recopilación, el almacenamiento y el traslado de datos a la nube expone inevitablemente a una organización a amenazas de ciberseguridad y privacidad, incluso cuando las empresas están atentas a la protección de datos. Este riesgo inmensamente importante se está volviendo aún más crítico de abordar a medida que pasa el tiempo. Están surgiendo regulaciones sobre información de identificación personal en todas las jurisdicciones, y los consumidores se están volviendo más conscientes de los datos que recopilan las empresas, y el 80 por ciento de ellos dicen que no sienten que las empresas estén haciendo todo lo posible para proteger la privacidad del consumidor. Algunos dispositivos, como los altavoces inteligentes, se están empezando a utilizar en entornos como los hospitales, donde la privacidad del paciente está regulada de forma aún más estricta.

Al permitir que grandes cantidades de datos se procesen localmente, los chips de inteligencia artificial de borde pueden reducir el riesgo de que los datos personales o empresariales sean interceptados o mal utilizados. Las cámaras de seguridad con procesamiento de aprendizaje automático, por ejemplo, pueden reducir los riesgos de privacidad al analizar el video para determinar qué segmentos del video son relevantes y enviar solo aquellos a la nube. Los chips de aprendizaje automático también pueden reconocer una gama más amplia de comandos de voz, por lo que se necesita analizar menos audio en la nube. El reconocimiento de voz más preciso puede ofrecer la ventaja adicional de ayudar a los hablantes inteligentes a detectar la "palabra de activación" con mayor precisión, evitando que escuchen una conversación no relacionada.

Baja conectividad. Se debe conectar un dispositivo para que los datos se procesen en la nube. En algunos casos, sin embargo, la conexión del dispositivo no es práctica. Tomemos los drones como ejemplo. Mantener la conectividad con un dron puede ser difícil según el lugar donde operen, y tanto la conexión en sí como la carga de datos en la nube pueden reducir la duración de la batería. En Nueva Gales del Sur, Australia, drones con aprendizaje automático integrado patrullan las playas para proteger a los nadadores. Pueden identificar a los nadadores que han sido capturados por las corrientes de resaca o advertir a los nadadores sobre tiburones y cocodrilos antes de un ataque, todo sin una conexión a Internet.

(Demasiado) macrodatos. Los dispositivos de IoT pueden generar grandes cantidades de datos. Por ejemplo, un avión Airbus A-350 tiene más de 6.000 sensores y genera 2,5 terabytes de datos cada día que vuela. A nivel mundial, las cámaras de seguridad crean alrededor de 2500 petabytes de datos por día. Enviar todos estos datos a la nube para su almacenamiento y análisis es costoso y complejo. Poner procesadores de aprendizaje automático en los puntos finales, ya sean sensores o cámaras, puede resolver este problema. Las cámaras, por ejemplo, podrían estar equipadas con unidades de procesamiento de visión (VPU), procesadores SoC de bajo consumo especializados para analizar o preprocesar imágenes digitales. Con los chips de inteligencia artificial integrados, un dispositivo puede analizar datos en tiempo real, transmitir solo lo que es relevante para un análisis posterior en la nube y "olvidarse" del resto, lo que reduce el costo de almacenamiento y ancho de banda.

Limitaciones de energía. Los chips de aprendizaje automático de bajo consumo pueden permitir que incluso los dispositivos con baterías pequeñas realicen cálculos de IA sin un consumo excesivo de energía. Por ejemplo, se están incorporando chips de brazo en inhaladores respiratorios para analizar datos, como la capacidad pulmonar de inhalación y el flujo de medicamento hacia los pulmones. El análisis de IA se realiza en el inhalador y los resultados se envían a una aplicación de teléfono inteligente, lo que ayuda a los profesionales de la salud a desarrollar una atención personalizada para los pacientes con asma. Además de las NPU de IA de borde de bajo consumo disponibles actualmente, las empresas están trabajando para desarrollar el “aprendizaje automático diminuto”:aprendizaje profundo en dispositivos tan pequeños como unidades de microcontroladores. Google, por ejemplo, está desarrollando una versión de TensorFlow Lite que puede permitir que los microcontroladores analicen datos, condensando lo que se debe enviar fuera del chip en unos pocos bytes.

Requisitos de baja latencia. Ya sea a través de una red cableada o inalámbrica, realizar cálculos de IA en un centro de datos remoto significa una latencia de ida y vuelta de al menos 1 a 2 milisegundos en el mejor de los casos, y decenas o incluso cientos de milisegundos en el peor de los casos. La realización de IA en el dispositivo utilizando un chip de IA de borde lo reduciría a nanosegundos, lo que es fundamental para usos en los que el dispositivo debe recopilar, procesar y actuar sobre los datos de forma prácticamente instantánea. Los vehículos autónomos, por ejemplo, deben recopilar y procesar grandes cantidades de datos de los sistemas de visión por computadora para identificar objetos, así como de los sensores que controlan las funciones del vehículo. Luego, deben convertir estos datos en decisiones de inmediato (cuándo girar, frenar o acelerar) para operar de manera segura. Para hacer esto, los vehículos autónomos deben procesar gran parte de los datos que recopilan en el propio vehículo. La baja latencia también es importante para los robots, y lo será más a medida que los robots emerjan de la configuración de fábrica para trabajar junto a las personas.

El resultado final:la inteligencia artificial de borde será vital para las aplicaciones con gran cantidad de datos

La propagación de los chips de inteligencia artificial de vanguardia probablemente generará cambios significativos tanto para los consumidores como para las empresas. Para los consumidores, los chips de inteligencia artificial de borde pueden hacer posible una gran cantidad de funciones, desde desbloquear su teléfono hasta tener una conversación con su asistente de voz, tomar fotos alucinantes en condiciones extremadamente difíciles y sin la necesidad de una conexión a Internet.

Pero a largo plazo, el mayor impacto de los chips de inteligencia artificial de borde puede provenir de su uso en la empresa, donde pueden permitir a las empresas llevar sus aplicaciones de IoT a un nivel completamente nuevo. Las máquinas inteligentes impulsadas por chips de inteligencia artificial podrían ayudar a expandir los mercados existentes, amenazar a los titulares y cambiar la forma en que se dividen las ganancias en industrias como la fabricación, la construcción, la logística, la agricultura y la energía. La capacidad de recopilar, interpretar y actuar de inmediato sobre grandes cantidades de datos es fundamental para muchas de las aplicaciones con gran cantidad de datos que los futuristas consideran que se están generalizando:monitoreo de video, realidad virtual, vehículos y drones autónomos, y más. Ese futuro, en gran parte, depende de lo que hagan posible los chips de inteligencia artificial:llevar la inteligencia al dispositivo.

Duncan Stewart y Jeff Loucks trabajan en el Centro de Tecnología, Medios y Telecomunicaciones de Deloitte. Este artículo se basa en un artículo publicado originalmente por Deloitte para su informe TMT Predictions 2020.