Recursive Semantic Divergence

新指标RSD提升LLM代理一致性和性能

研究人员引入了递归语义发散（RSD），这是一种旨在评估和改进大型语言模型（LLM）代理一致性的新指标。LLM代理经常表现出不可预测的行为，导致在不同运行中工具使用不一致和输出矛盾。RSD通过衡量代理输出之间预期的累积语义分歧来解决这个问题，该方法改编自强化学习的模拟度量。当用作微调的奖励信号时，RSD已在各种基准测试中显著减少了行为变异性并提高了性能，其效果与监督微调相当，但变异性更小且无需真实标签。