\tau-Rec

新基准揭示代理推荐系统的可靠性问题

研究人员推出了 $\tau$-Rec，一个旨在评估代理推荐系统的新基准。该基准摆脱了主观的 LLM 作为裁判的方法，转向了可验证的奖励和受控的引导机制。$\tau$-Rec 使用结构化数据测试代理，并采用 pass^k 可靠性指标来评估一致性推理。对包括 GPT-5.4 和 Claude Sonnet 4.6 在内的几个领先模型的初步评估显示出重大的可靠性问题，最好的模型在 pass^4 指标上的可靠性不到 40%。