Sequential Aristocrat Utility

新的COSAC框架改进了顺序AI团队中的信用分配

研究人员推出了一种新颖的无批评者策略梯度框架COSAC，专为顺序合作团队设计。该框架通过使用单一岭回归拟合加性每代理奖励分解来解决多代理系统中的信用分配挑战。COSAC通过策略前向传递计算反事实优势，避免了对重要性采样重加权或每代理环境回放的需求。在顺序多代理LLM微调上的评估表明，与现有基线相比，COSAC在科学推理任务中将训练遗憾降低了17%，在Python编码任务中降低了61%。