Инженер Hugging Face разработал инструмент для оценки энергопотребления моделей искусственного интеллекта

Инженер компании Hugging Face Жюльен Делаванд представил новый инструмент под названием Delavande, который позволяет пользователям оценивать количество электроэнергии, затрачиваемой на общение с чат-ботами. Делаванд отметил, что модели искусственного интеллекта потребляют электричество каждый раз, когда они запускаются, особенно на графических процессорах и специализированных чипах, требующих значительных энергетических ресурсов для обработки больших объемов данных.

По словам разработчиков, Delavande предназначен для интеграции с открытым исходным кодом Chat UI и может работать с такими моделями, как Llama 3.3 70B от Meta и Gemma 3 от Google. Инструмент обеспечивает возможность оценки энергопотребления в реальном времени, представляя данные в ватт-часах или джоулях. Также он сравнивает затраты энергии при использовании ИИ с потреблением обычных бытовых приборов, такими как микроволновые печи и светодиоды.

Например, оценка потребления Llama 3.3 70B при написании стандартного электронного письма составляет примерно 0,1841 Вт·ч, что соответствует работе микроволновой печи за 0,12 секунды или использованию тостера в течение 0,02 секунды. Несмотря на то, что указанные значения являются приблизительными, они подчеркивают важность осознания энергетического следа ИИ.

С учетом растущего применения технологий ИИ ожидается, что энергопотребление в ближайшие годы достигнет рекордных уровней. Это приведет к возникновению экологических проблем и даже к пересмотру стратегий энергетического потребления со стороны некоторых компаний, что вызывает беспокойство относительно устойчивости разработки ИИ. Брезгование отходов от ИИ также указывает на растущий негативный эффект технологий: по данным исследований, ожидаемый рост электронных отходов может достичь 5 миллионов тонн до 2030 года.