Los nuevos modelos grandes consumen mucha energía. ¿Cuánto CO2 se necesita para su entrenamiento?
La imagen hecha por el autor usando DALL-EData y la nube no son tecnología virtual. Necesitan costosas infraestructuras y electricidad. Lo mismo para entrenar un modelo de IA. Los investigadores pronostican que en el futuro sus emisiones podrían ser mucho más de lo esperado. Una breve descripción¿Quién no nos hace dormir la noche?Hace unas semanas el Reino Unido batió el récord de temperatura, por primera vez la temperatura superó los 40 °C. Las noches de verano son cálidas y húmedas y es difícil dormir en días similares. Este es el quinto año más cálido hasta ahora, pero los otros cuatro están en la misma década (lo más probable es que recordemos este verano como uno de los más fríos). Es indudable que año tras año nos enfrentamos a temperaturas más altas, esta tendencia también se define como parte del calentamiento global. El calentamiento global no significa solo veranos más cálidos, sino también un aumento de los eventos extremos (como huracanes, tornados, sequías, incendios forestales, etc.). ¿Quién es el culpable? Una pequeña molécula que consta de un átomo de carbono y dos átomos de oxígeno, más conocida como dióxido de carbono o co2. Hay otros gases de efecto invernadero, pero el dióxido de carbono sigue siendo, con mucho, el más importante. El siguiente gráfico muestra cómo el dióxido de carbono ha crecido exponencialmente en los últimos dos siglos.El gráfico compara la presencia de dióxido de carbono en la atmósfera (en azul) y la producción de dióxido de carbono por la actividad humana (línea gris). fuente de la imagen: aquíEn pocas palabras, cuanto más aumenta el dióxido de carbono, mayor es la parte retenida del componente infrarrojo de la radiación solar que incide sobre la Tierra. Esta energía extra calienta la Tierra. ¿Quién produce dióxido de carbono? El ser humano y todas sus actividades. Dejando de lado el hecho de que al inhalar exhalamos dióxido de carbono, el consumo de energía provoca la producción de dióxido de carbono. Los viajes en automóvil y en avión, las empresas, las granjas de ganado, etc., contribuyen a la liberación de CO2 a la atmósfera. Hay algo que también produce una producción considerable de dióxido de carbono, pero se sabe poco. Datos.La nube está hecha de dióxido de carbono.Los datos parecen ser objetos virtuales, casi entidades metafísicas, pero requieren ser almacenados, procesados y transmitidos, y esto requiere infraestructura. Por ejemplo, cuando guarda algunos archivos en la nube, tienen que atravesar miles de kilómetros de cables ópticos antes de llegar a un centro de datos. Hay miles de centros de datos en todo el mundo, pero esencialmente son edificios llenos de una gran cantidad de discos duros. Estos discos duros están continuamente en actividad y están produciendo calor.
“Cuanto más almacenamiento tienes, más cosas acumulas”. — Alexis Stewart
El coste estimado de un GigaByte almacenado en la nube es de 7kWh (no más de cien fotos en alta resolución). Producimos 2,5 quintillones de bytes por día (2,5 seguidos de 18 ceros). Sin hacer los cálculos, es mucho para almacenar y se produce una gran cantidad de dióxido de carbono en el proceso. De hecho, se prevé que la industria de las comunicaciones pronto producirá más que los sectores de la automoción, la aviación y la energía combinados.imagen generada por el autor con Dall-E (y usando esta imagen de C Dustin en unsplash.com) De hecho, hoy en día hay alrededor de 8 millones de centros de datos (en 2012 había 800.000), lo que muestra cuánto a qué ritmo estamos aumentando la producción y el almacenamiento de datos. Algunos modelos predicen que para 2030 más del 10 % del suministro mundial de electricidad se dedicará a los centros de datos. Estas predicciones solo tienen en cuenta el consumo de energía requerido para almacenar los datos, pero los datos viajan en Internet, que también consume energía. Hay muchos investigadores que están analizando cómo podemos reducir el impacto ambiental del almacenamiento de datos. Sin embargo, los datos no solo se almacenan. De hecho, cuando tiene tantos datos disponibles, puede usarlos para entrenar un modelo muy grande. Entonces surge la pregunta: ¿cuánta inteligencia artificial está consumiendo?La inteligencia (artificial) devora energía para mantenerseEl cerebro humano es una de las cosas más sofisticadas que ha evolucionado sobre la faz de la tierra. Su complejidad nos permite oscilar entre el razonamiento abstracto, la ciencia y el arte. Si tener un cerebro tan desarrollado es una ventaja evolutiva, ¿por qué la mayoría de las especies tienen muchas menos neuronas? Una respuesta es porque cuesta mucho; el cerebro humano por sí solo consume del 20 al 30% de toda la energía del cuerpo. No es barato para un solo órgano.imagen del autor usando DALL-E 2Podemos sospechar que la inteligencia artificial está haciendo lo mismo: consumiendo mucha energía para hacer todos los cálculos. La pregunta es cada vez más relevante ya que ahora casi todas las empresas están invirtiendo en aprendizaje automático. Entonces, ¿cuánto consume la IA? En uno de los primeros trabajos sobre el tema, Emma Strubell calculó que un modelo de transformador entrenado mediante una búsqueda de arquitectura neuronal será comparable a la emisión de dióxido de carbono de cinco automóviles durante su vida útil (el enlace en papel de 2019 es aquí). En un artículo sucesivo, Patterson amplió el análisis sobre diferentes arquitecturas de modelos populares (T5, BERT, GPT-3) comparando el coste de su formación y su huella de carbono.consumo de energía y producción de dióxido de carbono para el entrenamiento de diferentes modelos (fuente de la imagen: aquí) En el artículo, Patterson mostró cuántos factores se deben considerar para calcular el costo de energía de un modelo (el acelerador, el método de optimización, la dimensión del conjunto de entrenamiento, número de hiperparámetros, etc.). En el artículo, compararon el costo del entrenamiento con la emisión de un chorro, lo cual es preocupante considerando que el modelo más nuevo tiene muchos más hiperparámetros y los conjuntos de datos de entrenamiento también están aumentando de tamaño. En el artículo, también destacan otros puntos interesantes: la ubicación geográfica y la infraestructura importan (usando la nube o no). Ahora, hay muchos servicios que ofrecen la posibilidad de entrenar modelos en la nube (Azure, AWS, etc.). De hecho, para una pequeña empresa es más fácil entrenar un modelo en la nube que comprar una costosa pila de GPU y configurar la infraestructura interna. Dado que esta es una opción cada vez más popular, diferentes investigadores estudiaron la intensidad de carbono de la inteligencia artificial en instancias de nube. Resultó que la ubicación sigue siendo importante, incluso cuando se usa la nube. En sus trabajos, monitorearon el entrenamiento de 11 algoritmos (que van desde modelos de lenguaje hasta algoritmos de visión) en Microsoft Azure y monitorearon la energía de la red eléctrica en diferentes ubicaciones. Las diferencias fueron sustanciales, lo que demuestra que realizar la capacitación en el centro de datos con sede en EE. UU. generaba el doble de emisiones que la misma capacitación realizada en Noruega.Emisión de CO2 en formación BERT en diferentes localizaciones. fuente de la imagen (aquí)
“Las regiones más eficientes produjeron alrededor de un tercio de las emisiones de las menos eficientes”, dijo Jesse Dodge, uno de los coautores, a Nature.
Además, cuando estás entrenando a tu modelo también está cambiando tu huella de carbono. Por ejemplo, al entrenar el modelo durante el día en Washington, la energía proviene de la estación a gas, mientras que durante la noche la energía se produce mediante energía hidroeléctrica.
“el equipo realizó sólo el 13% del proceso de formación del transformador; entrenarlo completamente produciría emisiones “del orden de magnitud de quemar un vagón completo lleno de carbón”, dice Dodge. (fuente: Naturaleza)
Conclusiones y perspectivasLa nube sería la opción preferida para entrenar los modelos de IA para muchas pequeñas y medianas empresas. Sin embargo, los modelos de nube e IA están aumentando su huella de carbono en un momento en el que el efecto del calentamiento global es cada vez más marcado. Por lo tanto, debemos pensar en cómo podemos reducir el impacto de ambas tecnologías. Las empresas deben invertir para reducir el impacto de la energía. Como sugieren los investigadores, un primer paso es la posibilidad de seleccionar y utilizar el centro de datos con la huella de carbono más baja al entrenar la IA en la nube. Además, la capacitación debe ser flexible y programada cuando hay menor demanda de energía o el centro de datos funciona con energía verde.
“Cuanto menos hagamos para abordar el cambio climático ahora, más regulación tendremos en el futuro”. —Bill Nye
Dado que se prevé que el tamaño del mercado de IA se expanda a una tasa de crecimiento anual compuesto (CAGR) del 38,1 % entre 2022 y 2030, debemos abordar su consumo de energía tan pronto como podamos. La buena noticia es que las empresas y los investigadores son conscientes del problema y trabajan en la solución. Además, también hay un esfuerzo institucional que está teniendo en cuenta el uso de energías verdes para la formación (como el modelo BLOOM). Finalmente, los modelos de IA también podrían ser beneficiosos para optimizar el consumo de energía y contener las emisiones de dióxido de carbono.Recursos adicionalesPuedes buscar mis otros artículos, también puedes suscribir para recibir notificaciones cuando publique artículos, y también puede conectarse o comunicarse conmigo en LinkedIn. ¡Gracias por su apoyo! Aquí está el enlace a mi repositorio de Github, donde planeo recopilar código y muchos recursos relacionados con el aprendizaje automático, la inteligencia artificial y más.