Tecnologías de memoria impulsando Edge AI: retos y oportunidades

El Edge AI está remodelando nuestra concepción de la memoria. A medida que las cargas de trabajo de IA migran de la nube a dispositivos más cercanos al usuario, los sistemas de memoria deben ofrecer gran capacidad, alto ancho de banda, baja latencia y eficiencia energética manteniéndose rentables y fiables.

No existe una única especificación «edge AI». El término abarca ampliamente cualquier electrónica habilitada para IA fuera de una nube central —desde centros de datos empresariales hasta vehículos autónomos, infraestructura de ciudades inteligentes y endpoints IoT.

Escenarios típicos de edge incluyen visión por computadora para coches autónomos, inferencia IA en puertas de fabricación para detectar defectos, cajas edge 5G en postes de servicios monitorizando tráfico, y móviles aplicando filtros de Snapchat o asistentes de voz.

El papel de la memoria es uniforme: almacenar pesos de redes neuronales, código de modelo, datos de entrada y activaciones intermedias. El reto reside en equilibrar capacidad, ancho de banda, consumo y coste cumpliendo las restricciones únicas de cada despliegue.

Centros de datos edge

Los centros de datos edge sirven dominios críticos de latencia como imagen médica, finanzas de alta frecuencia y control de vehículos autónomos. Estos sitios usan las mismas familias de memoria que servidores tradicionales —DRAM de alto rendimiento, RDIMMs de gran capacidad y opciones no volátiles como NVDIMMs.

«La DRAM de baja latencia es esencial para entrenamiento y desarrollo de modelos de IA», señala Pekon Gupta, arquitecto de soluciones en Smart Modular Technologies. «Grandes conjuntos de datos demandan RDIMMs o LRDIMMs de alta capacidad, mientras NVDIMMs aceleran cargas de trabajo intensivas en escritura como caching y checkpointing».

Pekon Gupta

Los operadores telecom siguen camino similar, añadiendo memoria y cómputo a servidores edge. Gupta destaca Intel Optane —memoria no volátil 3D XPoint que puentea DRAM y Flash— como opción convincente para cargas de trabajo de IA que se benefician de memoria persistente de alta capacidad.

«Los DIMMs Optane y NVDIMMs sirven propósitos distintos: Optane destaca en bases de datos en memoria y grandes conjuntos de datos IA persistentes, mientras NVDIMMs proporcionan tiering y caching de baja latencia», explica Gupta.

Kristie Mann de Intel reporta que Optane ya impulsa motores de recomendación e-commerce, personalización de vídeo y analíticas financieras en tiempo real. Un servidor con duales Xeon Scalable y memoria persistente Optane puede alojar hasta 6 TB de memoria usable, ofreciendo alternativa rentable a configuraciones solo DRAM.

Kristie Mann de Intel

Módulo Intel Optane Serie 200. Intel dice que Optane ya se usa para impulsar aplicaciones de IA hoy. (Fuente: Intel)

Aceleración GPU

Para centros de datos edge de alto rendimiento, las GPUs impulsan el cómputo de IA. Las opciones de memoria aquí incluyen GDDR, diseñada para GPUs de alto ancho de banda, y HBM (memoria de alto ancho de banda), solución apilada en die que coloca múltiples dies de memoria directamente en el paquete GPU.

HBM2E entrega hasta 3,6 Gbps por canal, traduciéndose a 460 GB/s de ancho de banda por pila —dos pilas pueden rozar 1 TB/s. Este rendimiento, combinado con bajo consumo, hace de HBM la memoria elegida para GPUs de centro de datos de Nvidia.

GDDR6, por su parte, ofrece 18 Gbps por canal y 72 GB/s de ancho de banda. Cuatro chips GDDR6 producen casi 300 GB/s, un punto óptimo para cargas de inferencia edge. Frank Ferro, director senior de marketing de producto para IP Cores en Rambus, señala que LPDDR, aunque rentable para inferencia en endpoints, no puede igualar las demandas de ancho de banda de modelos IA modernos, empujando a diseñadores hacia GDDR6.

Frank Ferro de Rambus

Otros aceleradores —como el FPGA Achronix Speedster7t— también aprovechan ancho de banda GDDR, demostrando que tanto HBM como GDDR tienen roles en edge AI.

El far edge

En el edge más lejano —móviles, wearables y nodos de sensores— la IA es predominantemente inferencia. Dispositivos como chips de control por voz de Syntiant y aceleradores de efectos de cámara de Gyrfalcon usan técnicas de cómputo analógico, incrustando multiplicación de matrices directamente en celdas de memoria.

El IP insignia de Mythic aprovecha transistores de memoria flash como resistencias variables para realizar operaciones multiply-accumulate de 8 bits, logrando notable densidad y eficiencia energética. Su calibración de cancelación de ruido permite inferencia fiable de 8 bits a pesar de variabilidad analógica.

Mythic usa un array de transistores de memoria flash para crear motores multiply-accumulate densos (Fuente: Mythic)

ASICs a medida para inferencia de ultra-bajo consumo combinan SRAM distribuida, SRAM masiva y DRAM off-chip. Geoff Tate de Flex Logix explica que el InferX X1 alcanza 7,5 TOPS a 933 MHz con un solo DRAM LPDDR4 x32 y 10 MB SRAM, equilibrando velocidad, área y coste.

A medida que la economía de memoria evoluciona, LPDDR probablemente seguirá siendo la opción dominante para inferencia edge debido a su ancho de banda, simplicidad y huella de silicio mínima.

Memorias emergentes

Más allá de tecnologías establecidas, varias memorias no volátiles ofrecen capacidades novedosas para IA.

MRAM (RAM magneto-resistiva) almacena bits usando orientación de imanes, permitiendo operación a bajo voltaje con comportamiento estocástico controlado. Esta aleatoriedad puede explotarse para redes neuronales binarizadas (BNN), que toleran altas tasas de error de bit manteniendo precisión. Andy Walker de Spin Memory señala que MRAM puede reducir drásticamente el consumo manteniendo rendimiento para tareas edge AI que no exigen precisión extrema.

Andy Walker de Spin Memory

La no volatilidad de MRAM también abre la puerta a arquitecturas de memoria unificada que reemplazan tanto flash embebido como SRAM, reduciendo área de die y potencia estática.

ReRAM neuromórfico

La RAM resistiva (ReRAM) introduce plasticidad sináptica, permitiendo sistemas neuromórficos que aprenden in situ. La colaboración del Politecnico di Milano con Weebit Nano demostró el potencial de ReRAM para aprendizaje no supervisado, permitiendo a dispositivos edge adaptarse a entornos cambiantes sin reentrenar desde cero.

En resumen, la tecnología de memoria evoluciona rápidamente para satisfacer demandas de edge AI. Memorias establecidas —GDDR, HBM, Optane— siguen dominando el edge de centro de datos, mientras LPDDR y SRAM on-chip prevalecen en el far edge. Memorias no volátiles emergentes como MRAM y ReRAM están preparadas para ofrecer eficiencia energética y capacidades adaptativas sin precedentes, moldeando la próxima generación de dispositivos habilitados para IA.

— Este artículo se publicó originalmente en nuestro sitio hermano, EE Times.