一篇新发表在 arXiv 上的研究调查了用于代码优化的大型语言模型(LLM)的能耗。研究发现,虽然 LLM 可以提高代码性能,但优化后的代码通常比人类编写的参考解决方案消耗更多的能源。LLM 优化过程本身的能源成本可能很高,每次问题的推理能耗在 0.79 到 8.68 兆焦耳之间,相当于数千次 GPT-4 查询。研究表明,诸如混合专家(Mixture-of-Experts)等架构选择对能效的影响比解码参数更大,并且性能优化和能效并非总是目标一致。 AI
影响 LLM 生成的代码可能比人类编写的代码能效更低,影响可持续发展努力。
排序理由 发表在 arXiv 上的研究论文,详细介绍了 LLM 代码优化的能源成本。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →