Edge AI: acelerando inteligencia on-device y transformando mercados de consumo y empresariales

En 2020, analistas pronosticaron que se venderían más de 750 millones de chips edge AI —dispositivos que realizan o aceleran machine learning directamente en el hardware— generando aproximadamente US$2,6 mil millones en ingresos. Se espera que el segmento edge-AI supere a la industria de semiconductores en general, con ventas unitarias proyectadas superando 1,5 mil millones para 2024, implicando una tasa de crecimiento anual de al menos 20% versus 9% CAGR para el mercado global.

Estos chips se encuentran cada vez más en smartphones high-end, tablets, altavoces inteligentes, wearables, y una creciente gama de equipamiento empresarial, incluyendo robots, cámaras, sensores, y dispositivos IoT en general.

Mientras el segmento de consumo sigue siendo mayor, se proyecta crecer a 18% CAGR de 2020 a 2024, mientras que el segmento empresarial se espera acelere al 50% en el mismo período.

En 2020, dispositivos de consumo representaron más del 90% del mercado edge-AI chip por volumen y valor. Smartphones high-end contaron por más del 70% de unidades de consumo en uso, y más de un tercio de los 1,56 mil millones de envíos de smartphones ese año probablemente incluían un chip edge-AI.

Históricamente, cargas de trabajo IA se manejaban en data centers por su intensidad computacional. Los chips edge-AI, sin embargo, son más pequeños, menos costosos, consumen mucha menos energía, y producen calor mínimo —permitiendo su integración en dispositivos de mano y robots. Procesando datos localmente, reducen latencia, mejoran usabilidad, y aumentan privacidad y seguridad manteniendo información personal en el dispositivo.

Cuando los recursos del dispositivo son insuficientes, un enfoque híbrido —combinando procesamiento on-device y cloud— puede emplearse. La mezcla óptima depende de la carga de trabajo IA específica.

Figura 1: Ubicaciones donde la inteligencia puede embeberse (Imagen: Deloitte Insights)

Economía del edge AI en smartphones

Aunque los smartphones dominan el mercado, otras categorías —tablets, wearables, altavoces inteligentes— también incorporan chips edge-AI. En 2020, tablets estaban mayormente estancadas, mientras que altavoces inteligentes y wearables juntos se esperaba enviaran solo 125 millones de unidades, limitando su impacto en ventas globales. No obstante, las tasas de penetración para estos dispositivos ya son altas.

Figura 2: El mercado de chips Edge AI (Imagen: Deloitte Insights)

Actualmente, solo los smartphones más caros —el tercio superior del espectro de precios— tienden a tener chips edge-AI, sin embargo el costo incremental es mínimo.

Examinando die shots de silicio de Samsung, Apple y Huawei, podemos aproximar la porción de un SoC dedicada a IA. El Exynos 9820 de Samsung, por ejemplo, dedica aproximadamente 5% de su área de die a una NPU. Con costo total de SoC de unos US$70,50, la porción IA representa aproximadamente 5% de ese costo, o unos US$3,50 por chip.

Figura 3: Die shot del Exynos 9820 de Samsung mostrando ~5% área IA (Imagen: ChipRebel, Anotación: AnandTech)

El A12 Bionic de Apple asigna cerca de 7% de su die a machine learning, traduciendo a costo estimado de US$5,10. El Kirin 970 de Huawei dedica 2,1% de su área a la NPU, sugiriendo costo entre US$1,10 y US$1,42, dependiendo si se usa área o conteo de transistores como métrica.

Figura 4: El A12 Bionic de Apple dedica ~7% de su die a machine learning (Imagen: TechInsights / AnandTech)

Incluso con amplio rango de costo, un promedio de US$3,50 por NPU es estimación razonable. Multiplicado por medio mil millones de smartphones —más tablets, altavoces y wearables— el volumen de mercado es sustancial. Importante, añadir $1 de costo de manufactura típicamente se traduce en aumento de $2 para consumidores, permitiendo NPUs edge-AI aparecer en teléfonos desde US$250 sin impacto significativo en margen.

Abastecimiento de chips IA: in-house o third-party?

Fabricantes de dispositivos eligen estrategias de abastecimiento basadas en tier de producto y geografía. Empresas como Qualcomm y MediaTek proveen SoCs a muchos fabricantes, capturando aproximadamente 60% del mercado SoC smartphone en 2018. Sus líneas high-end —Snapdragon 845, 855, y Helio P60 de MediaTek— usualmente incorporan capacidades edge-AI.

Apple, por contraste, diseña sus propios SoCs (A11–A13 Bionic) e incrusta IA throughout. Samsung y Huawei adoptan modelo híbrido, comprando algunos SoCs de terceros mientras despliegan sus propios chips Exynos y Kirin para dispositivos high-tier.

Más de 50 empresas de aceleradores IA compitiendo por edge AI en empresa e industria

Mientras chips smartphone-grade funcionan bien para uso de consumo, muchas aplicaciones empresariales e industriales requieren soluciones más enfocadas y eficientes energéticamente. Una NPU que ocupa solo la porción IA de un SoC usa 95% menos energía y es significativamente más barata que el SoC completo.

Hoy, más de 50 firmas desarrollan aceleradores edge-AI standalone. En 2019, desarrolladores podían comprar chips sueltos por unos US$80 cada uno. En volumen, fabricantes pueden adquirirlos por tan solo US$1 a pocos dólares. Usando la NPU smartphone como proxy, asumiremos costo promedio de US$3,50.

Chips standalone no solo son baratos sino también pequeños y de bajo consumo, consumiendo entre 1 y 10 W. En contraste, un cluster de 16 GPU en data center cuesta US$400k, pesa 350 lb, y consume 10 kW.

Edge AI permite a empresas procesar datos localmente, reduciendo necesidad de transferir vastos datasets a la nube, recortando costos, simplificando arquitectura, y mitigando riesgos de seguridad.

Seguridad y privacidad de datos

El procesamiento local minimiza exposición a ciberamenazas y escrutinio regulatorio. Por ejemplo, cámaras inteligentes pueden analizar footage on-device, enviando solo segmentos relevantes a la nube, mientras altavoces inteligentes pueden refinar detección de wake-word para reducir captura de audio innecesaria.

Baja conectividad

Dispositivos operando en entornos network-poor —como drones autónomos— se benefician de IA on-device, permitiendo toma de decisiones en tiempo real sin depender de conectividad.

Volúmenes masivos de datos

Despliegues IoT pueden generar terabytes de datos diarios. Edge AI puede filtrar y pre-procesar estos datos, transmitiendo solo insights accionables, reduciendo así costos de almacenamiento y ancho de banda.

Restricciones de potencia

Aceleradores de bajo consumo permiten dispositivos de batería pequeña, como inhaladores que analizan patrones de uso localmente y envían métricas concisas a un smartphone. Esfuerzos como TensorFlow Lite for microcontrollers de Google empujan deep learning a microcontroladores, habilitando "tiny machine learning".

Requisitos de baja latencia

La inferencia on-device elimina latencia round-trip a data centers, que puede ser crítica para vehículos autónomos, robótica, y otras aplicaciones safety-critical.

Conclusión: edge AI será vital para aplicaciones data-intensive

Consumidores se beneficiarán de características como desbloqueo seguro de dispositivos, asistentes de voz offline, y fotografía de alta calidad sin conectividad constante. Para empresas, edge AI puede desbloquear nuevos modelos de negocio, mejorar eficiencia operacional, y transformar industrias como manufactura, logística, agricultura y energía al permitir analíticas on-device en tiempo real.

Duncan Stewart y Jeff Loucks están con el Center for Technology, Media and Telecommunications de Deloitte. Este artículo se basa en artículo publicado originalmente por Deloitte para su reporte TMT Predictions 2020.