Hsuvas Borkakoty

新的DRIP-R基准测试LLM代理在模糊零售政策下的表现

研究人员推出了DRIP-R，一个旨在评估大型语言模型（LLM）代理在涉及模糊真实世界政策场景中表现的新基准，特别是在零售领域。与假设政策清晰的现有基准不同，DRIP-R利用经过精心策划的、具有模糊政策和真实客户角色的零售退货场景来测试LLM的决策能力。该基准包括一个具有工具调用能力的对话模拟和一个评估政策遵守度、对话质量和解决方案质量的多裁判评估框架。对前沿模型的实验表明，在相同的模糊场景下存在显著分歧，凸显了模糊性对LLM代理构成的挑战。