PulseAugur
中
实时 06:34:17
English(EN) DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain

新的DRIP-R基准测试LLM代理在模糊零售政策下的表现

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了DRIP-R，一个旨在评估大型语言模型（LLM）代理在涉及模糊真实世界政策场景中表现的新基准，特别是在零售领域。与假设政策清晰的现有基准不同，DRIP-R利用经过精心策划的、具有模糊政策和真实客户角色的零售退货场景来测试LLM的决策能力。该基准包括一个具有工具调用能力的对话模拟和一个评估政策遵守度、对话质量和解决方案质量的多裁判评估框架。对前沿模型的实验表明，在相同的模糊场景下存在显著分歧，凸显了模糊性对LLM代理构成的挑战。 AI

影响 突出了LLM代理评估中的一个关键差距，可能推动在真实模糊政策环境中开发更强大的决策能力。

排序理由 该集群描述了一个用于评估LLM代理的新学术基准，并在研究论文中进行了详细介绍。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的DRIP-R基准测试LLM代理在模糊零售政策下的表现

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Hsuvas Borkakoty, Sebastian Pohl, Cheng Wang, Bei Chen, Yufang Hou ·

    DRIP-R：零售领域真实世界政策模糊下的决策与推理基准

    arXiv:2605.07699v2 Announce Type: replace-cross Abstract: LLM-based agents are increasingly deployed for routine but consequential tasks in real-world domains, where their behavior is governed by inherently ambiguous domain policies that admit multiple valid interpretations. Desp…

相关实体

相关话题