Entrenar una gran red neuronal genera 284.000 kg de CO₂ —Equivalente a 5 coches durante su vida útil

Desarrollar y optimizar una gran red neuronal puede emitir hasta 284.000 kilogramos de dióxido de carbono.

Esto equivale a 5 veces la emisión de por vida de un coche promedio.

Emisiones de carbono por entrenar modelos de PNL

En este estudio, los investigadores caracterizaron las emisiones de carbono y el coste que resultan de entrenar grandes redes neuronales. Estimaron cuántos kilovatios de energía se necesitan para desarrollar y ajustar modelos populares de PNL. Luego los convirtieron en costes eléctricos aproximados y emisiones de carbono.

Emisión estimada de CO2 de modelos de PNL vs otros consumos familiares

Los hallazgos muestran que desarrollar y optimizar un gran pipeline de PNL podría emitir 284.000 kilogramos de dióxido de carbono, equivalente a 5 veces la emisión de por vida de un coche promedio (incluyendo su proceso de fabricación).

Referencia: arXiv:1906.02243

Tanto los costes financieros como ambientales aumentan proporcionalmente al tamaño de los modelos de IA. Pero al añadir funciones de ajuste para mejorar aún más la precisión del modelo, los costes asociados se disparan.

Más específicamente, la función de ajuste (también llamada búsqueda de arquitectura neuronal) —ajusta iterativamente el diseño de la red mediante prueba y error intensivo— conduce a costes extremadamente altos por mejoras de rendimiento mínimas.

Considerando las tendencias actuales en IA, la importancia de esta investigación es enorme. Muchas instalaciones de investigación en IA descuidan la eficiencia, ya que modelos entrenados con abundantes datos han resultado útiles en diversas tareas.

Aunque existen algoritmos computacionalmente eficientes, apenas se usan en la práctica para optimizar modelos de PNL, debido a sus incompatibilidades con los marcos de aprendizaje profundo más comunes como TensorFlow y PyTorch.

Según los investigadores, este tipo de investigación debería realizarse para concienciar sobre el uso extensivo de recursos y promover prácticas y políticas conscientes.