Entrenamiento de una gran red neuronal puede emitir 284.000 kilogramos de CO2

• Desarrollar y optimizar una gran red neuronal puede emitir hasta 284.000 kilogramos de dióxido de carbono.
• Esto equivale a 5 veces la emisión de por vida de un automóvil promedio.

Los avances recientes en el campo de la inteligencia artificial (IA) han marcado el comienzo de una nueva era de grandes redes entrenadas con datos masivos. Estas redes tienen mejoras drásticas de precisión en varias tareas básicas de procesamiento del lenguaje natural (PNL).

Los modelos más hambrientos de recursos, en particular, han obtenido las puntuaciones más altas. Sin embargo, entrenar tales modelos requiere una gran cantidad de recursos computacionales, que demandan una cantidad significativa de energía.

Recientemente, investigadores de la Universidad de Massachusetts Amherst publicaron un artículo en el que describían las emisiones de dióxido de carbono de los modelos de IA, realizando una evaluación del ciclo de vida para entrenar grandes redes neuronales.

Hace una década, los modelos de PNL podían desarrollarse y entrenarse en un servidor o computadora portátil convencional, pero ese ya no es el caso. Hoy en día, los modelos de alta precisión requieren varias instancias de TPU (unidades de procesamiento de tensores) o GPU. La investigación y los experimentos con arquitecturas de modelos e hiperparámetros han aumentado aún más los costos de hardware.

Alimentar dicho hardware durante semanas deja un impacto sustancial en el medio ambiente. Si bien una parte de esta energía proviene de fuentes renovables, se limita a la tecnología que tenemos actualmente para generarla y almacenarla. De hecho, la mayoría de las ubicaciones tienen instalaciones suficientes para obtener energía de fuentes neutrales en carbono.

Emisiones de carbono derivadas de la formación de modelos de PNL

En este estudio, los investigadores caracterizaron las emisiones de carbono y el costo que resulta de entrenar grandes redes neuronales. Estimaron cuántos kilovatios de energía se necesitan para desarrollar y ajustar modelos populares de PNL. Luego lo convirtieron en costos aproximados de electricidad y emisiones de carbono.

Emisión estimada de CO2 de los modelos NLP frente a otros consumos familiares

Los hallazgos muestran que el desarrollo y la optimización de una gran tubería de PNL podría emitir 284.000 kilogramos de dióxido de carbono, lo que equivale a cinco veces la emisión de por vida de un automóvil promedio (incluido su proceso de fabricación).

Referencia:arXiv:1906.02243

Tanto los costes económicos como medioambientales aumentan proporcionalmente al tamaño de los modelos de IA. Pero una vez que agrega funciones de ajuste para mejorar aún más la precisión del modelo, los costos asociados se disparan.

Más específicamente, la función de ajuste (también llamada búsqueda de arquitectura neuronal), que modifica de forma iterativa el diseño de la red a través de una prueba y error intensivos, genera costos extremadamente altos para pequeñas mejoras de rendimiento.

Teniendo en cuenta las tendencias en curso en el campo de la IA, la importancia de esta investigación es enorme. Muchas instalaciones de investigación de IA descuidan la eficiencia, ya que se ha descubierto que los modelos de redes entrenados con datos abundantes son útiles en varias tareas.

Leer:Las hojas artificiales pueden reducir el dióxido de carbono de la atmósfera

Si bien existen algoritmos computacionalmente eficientes, apenas se usan en la práctica para optimizar modelos de PNL, debido a sus incompatibilidades con los marcos de trabajo de aprendizaje profundo más comunes como TensorFlow y PyTorch.

Según los investigadores, este tipo de investigación debería llevarse a cabo para crear conciencia sobre el uso extensivo de recursos y promover prácticas y políticas conscientes.