研究人员引入了递归语义发散(RSD),这是一种旨在评估和改进大型语言模型(LLM)代理一致性的新指标。LLM代理经常表现出不可预测的行为,导致在不同运行中工具使用不一致和输出矛盾。RSD通过衡量代理输出之间预期的累积语义分歧来解决这个问题,该方法改编自强化学习的模拟度量。当用作微调的奖励信号时,RSD已在各种基准测试中显著减少了行为变异性并提高了性能,其效果与监督微调相当,但变异性更小且无需真实标签。 AI
影响 增强了LLM代理的可靠性,通过确保一致的行为,有可能加速其在复杂应用中的采用。
排序理由 学术论文,介绍了一种用于LLM代理的新方法和指标。[lever_c_demoted from research: ic=1 ai=1.0]
- Hugging Face
- large language model
- Recursive Semantic Divergence
- reinforcement learning
- tau2-bench
- ToolSandbox
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →