EffiBench

研究发现，LLM 代码优化通常会增加能源消耗

一篇新发表在 arXiv 上的研究调查了用于代码优化的大型语言模型（LLM）的能耗。研究发现，虽然 LLM 可以提高代码性能，但优化后的代码通常比人类编写的参考解决方案消耗更多的能源。LLM 优化过程本身的能源成本可能很高，每次问题的推理能耗在 0.79 到 8.68 兆焦耳之间，相当于数千次 GPT-4 查询。研究表明，诸如混合专家（Mixture-of-Experts）等架构选择对能效的影响比解码参数更大，并且性能优化和能效并非总是目标一致。