Pionero IA advierte que foco actual en hardware IA es erróneo

Yann LeCun, Chief AI Scientist de Facebook, advirtió en su keynote de NeurIPS que enfocarse en hardware exótico es un error. Repasó la evolución de chips especializados para redes neuronales, compartió el trabajo actual de Facebook, y ofreció predicciones para hardware de deep learning.

Historia antigua

LeCun, figura pionera en IA desde los 80s, estuvo entre los primeros en desarrollar procesadores dedicados para redes neuronales en Bell Labs. Esos dispositivos tempranos, construidos con arrays de resistores para realizar multiplicación de matrices, fueron la base para avances posteriores.

Cuando las redes neuronales cayeron en desgracia a finales de los 90s y principios de 2000s, LeCun fue de los pocos científicos que mantuvo vivo el campo. En su keynote reflexionó sobre lecciones de hardware aprendidas durante esa era.

Yann LeCun, Chief AI Scientist de Facebook

Primero, las herramientas son cruciales. En los 90s, solo un puñado de investigadores —LeCun incluido— tenían software capaz de entrenar redes neuronales. El equipo pasó años construyendo lo que ahora se llamaría un framework de deep learning, una capa flexible que traduce código de alto nivel a rutinas de entrenamiento eficientes. Este avance sentó las bases para frameworks modernos como TensorFlow y PyTorch, donde modelos se ensamblan desde módulos diferenciables que pueden auto-diferenciarse.

Las herramientas correctas dieron a LeCun's team un "superpoder" y permitieron investigación reproducible. Enfatizó que resultados sólidos deben ser reproducibles; de lo contrario, la comunidad permanece escéptica.

El rendimiento de hardware es igualmente importante. LeCun notó que las capacidades de hardware de investigación moldean la agenda de investigación. "Ideas que se abandonan a menudo lo hacen porque el hardware disponible es insuficiente", dijo. "Un desajuste entre ambiciones de investigación y realidades de hardware puede descarrilar direcciones prometedoras."

LeCun advirtió contra perseguir métodos de fabricación exóticos que fallen al integrar con el ecosistema de computación existente.

También destacó un desajuste clave en aceleradores actuales: la mayoría están optimizados para multiplicación de matrices en lugar de convolución, la operación core de redes modernas de procesamiento de imagen y voz. "El enfoque prevalente se volverá cada vez más desalineado conforme crezcan demandas de potencia", advirtió. "Si 95% de ciclos se gastan en convoluciones, el hardware es fundamentalmente sub-óptimo."

Killer app

Mirando adelante, LeCun ve redes neuronales convolucionales permeando dispositivos cotidianos —desde juguetes a aspiradoras a equipamiento médico. La única "killer app" que desbloqueará el valor de IA en dispositivos de consumo, sin embargo, es el headset de realidad aumentada.

Facebook está desarrollando activamente hardware para gafas AR. El desafío radica en entregar computación de baja latencia alimentada por batería. "Cuando el usuario se mueve, los objetos virtuales deben mantenerse anclados al mundo, no al headset", explicó LeCun, subrayando la necesidad de tracking en tiempo real.

Facebook visualiza gafas AR que responden a comandos de voz y tracking de manos basado en gestos. Aunque estas capacidades existen hoy, fallan en términos de potencia, rendimiento, y factor de forma. LeCun delineó varios trucos prácticos para cerrar la brecha.

Por ejemplo, cuando la misma red neuronal procesa cada frame de un video —como detección de objetos— inexactitudes por-frame pueden tolerarse porque consistencia temporal across frames puede forzarse. Esto permite uso de hardware ultra-bajo consumo, imperfecto, que puede experimentar bit-flips ocasionales, achievable reduciendo voltaje de alimentación.

Desarrollos de redes neuronales

La rápida evolución de arquitecturas de redes neuronales plantea desafío de diseño para hardware. Redes dinámicas que aprenden patrones secuenciales, como muchos modelos NLP, requieren optimización de grafo en runtime y luchan con batching. LeCun notó que la mayoría del hardware existente asume batch size >1, lo que fuerza a investigadores a procesar batches mayores que el setting óptimo del modelo.

Instó a la comunidad de hardware a crear arquitecturas que funcionen bien con batch size 1, tanto para inferencia como para entrenamiento, donde el batch size ideal es a menudo uno.

Auto-supervised learning

LeCun advirtió que paradigmas de aprendizaje cambiarán dramáticamente. Humanos y animales aprenden mediante observación —proceso que llama auto-supervised learning— en lugar de etiquetas explícitas o señales de refuerzo. Este enfoque, ahora estándar en NLP basado en transformers, entrena un modelo para predecir porciones enmascaradas de datos de entrada.

Mientras auto-supervised learning es altamente efectivo, incrementa requerimientos de memoria. Los mayores modelos transformer hoy contienen hasta cinco mil millones de parámetros y no caben en un solo GPU, necesitando partición de modelo.

"Auto-supervised learning es el futuro", afirmó LeCun. "Demanda memoria masiva y recursos computacionales, y la carrera de hardware se intensificará conforme entrenemos modelos cada vez mayores en datos no etiquetados abundantes."

Tendencias de hardware

LeCun vigila conceptos emergentes de hardware como computación analógica, spintrónica, y sistemas ópticos. Señaló que cuellos de botella de comunicación —convirtiendo señales entre hardware novedoso y sistemas mainstream— son un obstáculo mayor. Diseños analógicos dependen de activaciones dispersas para reducir consumo energético, pero la factibilidad de sostener dispersidad permanece incierta.

Permanece escéptico de enfoques futuristas como spiking neural networks y chips neuromórficos. "Antes de construir chips, los algoritmos deben probarse a sí mismos", dijo. "Impulsar diseño de hardware antes de madurez algorítmica es arriesgado."

Timeline de procesamiento de redes neuronales

Finales 1980s: Arrays de resistores usados para multiplicación de matrices. A finales de los 80s, los arrays han ganado amplificadores y convertidores alrededor pero siguen siendo bastante primitivos por estándares actuales. La limitación es qué tan rápido datos pueden alimentarse al chip.
1991: Primer chip diseñado para redes neuronales convolucionales (CNNs) construido. Capaz de 320 giga-operaciones por segundo (GOPS) en datos binarios, con shift registers digitales que minimizan tráfico externo necesario para realizar convolución, acelerando operación. El chip no vio uso más allá de academia.
1992: ANNA, chip ALU de red neuronal analógica, debuta. Diseñado para CNNs con pesos de 6 bits y activaciones de 3 bits, ANNA contiene 180.000 transistores en CMOS 0,9 µm. Usado para reconocimiento óptico de caracteres de texto manuscrito.
1996: DIANA, versión digital de ANNA, se lanza. Pero con redes neuronales cayendo en desgracia a mediados de los 90s, DIANA eventualmente se repurposa para procesamiento de señal en torres de celular.
2009–2010: Investigadores demuestran acelerador hardware de red neuronal en FPGA (Xilinx Virtex 6). Corre demo de segmentación semántica para conducción automatizada y es capaz de 150 GOPS a ~0,5 W. El equipo, de Purdue University, intenta hacer ASIC basado en este trabajo, pero el proyecto resulta infructuoso. (Fuente: Yann Le Cun/Facebook)