研究人员开发了CoBa，这是一种新颖的计算均衡路由策略，旨在优化AI系统的测试时扩展。CoBa将推理视为一个计算分配问题，决定是将下一个计算单元投入生成、验证还是停止。该方法包括获取一小组候选，广泛应用成本效益高的验证，然后将不确定或高价值的候选路由进行更严格的验证。在多个基准数据集上的评估表明，与其它方法相比，CoBa在实现具有竞争力或相当的准确性的同时，显著减少了参数加权令牌的使用量。 AI
影响 这项研究通过优化推理过程中的计算分配，可能导致更高效的AI模型，从而降低运营成本。
排序理由 该集群包含一篇详细介绍新AI方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
