EA-RAM

新的EA-RAM机制通过反向拍卖优化LLM路由

研究人员开发了一种误差感知反向拍卖机制（EA-RAM），以优化查询到成本效益高的大型语言模型（LLM）的路由。这种新颖的方法通过反向拍卖将预测责任转移给LLM提供商，提供商根据预测的成功概率和成本进行竞标。EA-RAM明确地对这些预测中固有的“双重误差”进行建模和考虑，事实证明它具有贝叶斯激励兼容性和个体理性。实验表明，EA-RAM在实现更好的成本-性能平衡方面优于中心化基线，尤其是在提供商贡献本地信息时。