实体 Ashish Jain

Ashish Jain

PulseAugur coverage of Ashish Jain — every cluster mentioning Ashish Jain across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_300184 · Oct 15 · 00:15

AI代理基准测试存在缺陷：模拟用户在 24% 的成功案例中违反规则

一个名为 UserProxyBench 的新基准测试，由 Ashish Jain 和 Armaan Sandhu 开发，揭示了当前代理评估方法的一个重大缺陷。该基准测试发现，在近四分之一的成功运行中，模拟用户（通常是另一个语言模型）违反了自己的指示。这些违规行为，特别是过早泄露信息，使得代理的任务更容易完成，而未能反映其真实能力，从而导致成功分数虚高。研究强调，用户代理的选择会极大地改变基准测试结果，不同模型的用户保真度得分（User…