FairCarbon

新的CarbonRouter框架大幅削减大语言模型网络服务的排放

研究人员开发了CarbonRouter，一个旨在最大限度地减少与大语言模型（LLM）网络服务相关的碳排放的新框架。与以往将每次查询独立处理的方法不同，CarbonRouter考虑了多轮对话重新计算键值缓存的碳成本。通过联合选择每次查询的模型、GPU类型和地理区域，CarbonRouter旨在优化可持续性。实验表明，与现有的最先进路由器相比，它可以将二氧化碳排放量减少16%以上，并且对话越长，节省的越多。